大数据挖掘技术与应用

早期的计算机和技术只能处理一定量级的数据，但随着互联网和智能设备的不断发展，数据量呈指数级增长，大数据时代来临。本书系统地介绍了大数据技术的原理、数据挖掘与应用。第1章介绍了大数据的概述，包括定义、特征、产生的原因及科学研究范式的发展，也讲到了大数据的影响与应用。第2章阐述了数据收集方面的知识，包括外部和内部数据收集，还详细介绍了网络爬虫原理和构建爬虫系统的方法。第3章则重点介绍了数据存储方面的知识，包括文件存储和数据库存储，还分别讲解了Hadoop和NoSQL等相关技术。第4章介绍了数据处理的相关知识，包括离线批处理框架、MapReduce计算框架、Hadoop、Spark、流式计算框架、图计算等主要知识点。第5章则重点介绍了大数据的可视化，包括定义、发展历程、作用、设计步骤、要素、基本图形选用、工具等方面的知识。第6章讲解了信息检索方面的知识，包括定义、相关性、搜索引擎、推荐系统、互联网广告等主要知识点。第7章则详细介绍了数据挖掘，包括基本概念、数据来源、数据表示与预处理、机器学习算法、数据挖掘工具软件等方面的内容。最后，第8章讲解了效能评估方面的知识，包括效果评估和性能评估等主要内容。