大数据处理

大数据已成为当今社会中的热门话题，也是发展最快的领域之一。《大数据处理》一书从思维、编程、优化三个方面系统阐述大数据处理的系统架构、编程、优化等核心技术以及方法。优秀章介绍大数据的特征，包括基本特征、数据模型等。同时也讲解了大数据存储模式和大数据处理模式，包括并行处理、分布式处理、流处理和图处理等。本章还介绍了大数据处理体系结构，包括数据中心、数据中心体系结构和数据中心的网络拓扑结构。第二章主要介绍大数据存储，包括分布式存储系统、分布式文件系统、分布式键值系统和新型存储器件驱动的内存系统等。其中介绍了HDFS的系统架构、读写流程等。第三章介绍大数据的管理挑战，包括大数据的划分、组织管理方式和大数据仓库系统等。同时讲解了数据仓库的发展历史和大数据仓库的特性，以及实例Hive分析等。第四章讲解大数据编程，包括函数式编程和MapReduce编程。介绍了MapReduce的起源、工作原理和主要特点，还讲授了WordCount程序分析和PageRank程序分析的案例研究。第五章介绍大数据流处理，包括流处理的基础和应用，分布式流计算，流处理系统机制及优化等。第六章讲解图计算，包括图计算背景、并行编程模型等。讲解了以点、边、路径和子图为中心的编程模型，以及图计算硬件加速技术等。第七章讲解大数据系统管理，包括统一资源管理、大数据系统资源调度、协调技术等。还介绍了YARN和ZooKeeper的案例研究。第八章介绍大数据系统优化技术，包括存储优化、调度优化和运行时优化等。第九章讲解大数据资源链接，包括重要名词索引和大数据资源链接等。本书不仅适合高校相关专业教学使用，也适合大数据领域工程师或者有志于大数据领域工作或研究的科技人员。