具体描述
大数据作为继云计算、物联网之后IT行业又一颠覆性的技术，备受关注。大数据处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业，都融入了大数据的印迹，大数据对人类的社会生产和生活必将产生重大而深远的影响。
大数据时代的到来，迫切需要高校及时建立大数据技术课程体系，为社会培养和输送一大批具备大数据专业素养的高级人才，满足社会对大数据人才日益旺盛的需求。本书定位为大数据技术入门教材，为读者搭建起通向“大数据知识空间”的桥梁和纽带。本书将系统梳理总结大数据相关技术，介绍大数据技术的基本原理和大数据主要应用，帮助读者形成对大数据知识体系及其应用领域的轮廓性认识，为读者在大数据领域“深耕细作”奠定基础、指明方向。在本书的基础上，感兴趣的读者可以通过其他诸如《Hadoop权威指南》等工具书，继续深入学习和实践大数据相关技术。
作者简介
林子雨，博士，厦门大学计算机科学系老师，中国高校首个“数字教师”的提出者和建设者。在数据库、数据仓库、数据挖掘、大数据、云计算和物联网等领域有着十多年的知识积累，对各个领域知识都有比较深入的了解，有比较宽泛的视野，将相关大数据知识综合成一本适合本科和研究生教学的教材。
目录信息
第1章大数据概述
1．1大数据时代
1．1．1第三次信息化浪潮
1．1．2信息科技为大数据时代
提供技术支撑
1．1．3数据产生方式的变革促成
大数据时代的来临
1．1．4大数据的发展历程
1．2大数据的概念
1．2．1数据量大
1．2．2数据类型繁多
1．2．3处理速度快
1．2．4价值密度低
1．3大数据的影响
1．3．1大数据对科学研究的影响
1．3．2大数据对思维方式的影响
1．3．3大数据对社会发展的影响
1．3．4大数据对就业市场的影响
1．3．5大数据对人才培养的影响
1．4大数据的应用
1．5大数据关键技术
1．6大数据计算模式
1．6．1批处理计算
1．6．2流计算
1．6．3图计算
1．6．4查询分析计算
1．7大数据产业
1．8大数据与云计算、物联网
1．8．1云计算
1．8．2物联网
1．8．3大数据与云计算、物联网的关系
1．9本章小结
1．10习题
第2章大数据处理架构Hadoop
2．1概述
2．1．1Hadoop简介
2．1．2Hadoop的发展简史
2．1．3Hadoop的特性
2．1．4Hadoop的应用现状
2．2Hadoop的项目结构
2．2．1Common
2．2．2Avro
2．2．3HDFS
2．2．4HBase
2．2．5MapReduce
2．2．6Zookeeper
2．2．7Hive
2．2．8Pig
2．2．9Sqoop
2．2．10Chukwa
2．3Hadoop的安装与使用
2．3．1创建Hadoop用户
2．3．2Java的安装
2．3．3SSH登录权限设置
2．3．4安装单机Hadoop
2．3．5Hadoop伪分布式安装
2．4本章小结
2．5习题
第二篇大数据存储
第3章Hadoop分布式文件系统
3．1分布式文件系统
3．1．1计算机集群结构
3．1．2分布式文件系统的结构
3．1．3分布式文件系统的设计需求
3．2HDFS简介
3．3HDFS的相关概念
3．3．1块
3．3．2名称节点和数据节点
3．4HDFS体系结构
3．4．1概述
3．4．2HDFS命名空间管理
3．4．3通信协议
3．4．4客户端
3．4．5HDFS体系结构的局限性
3．5HDFS的存储原理
3．5．1冗余数据的保存
3．5．2数据存取策略
3．5．3数据错误与恢复
3．6HDFS的数据读写过程
3．6．1读数据的过程
3．6．2写数据的过程
3．7HDFS编程实践
3．7．1HDFS常用命令
3．7．2HDFS的Web界面
3．7．3HDFS常用JavaAPI及应用实例
3．8本章小结
3．9习题
第4章分布式数据库HBase
4．1概述
4．1．1从BigTable说起
4．1．2HBase简介
4．1．3HBase与传统关系数据库的
对比分析
4．2HBase访问接口
4．3HBase数据模型
4．3．1数据模型概述
4．3．2数据模型的相关概念
4．3．3数据坐标
4．3．4概念视图
4．3．5物理视图
4．3．6面向列的存储
4．4HBase的实现原理
4．4．1HBase的功能组件
4．4．2表和Region
4．4．3Region的定位
4．5HBase运行机制
4．5．1HBase系统架构
4．5．2Region服务器的工作原理
4．5．3Store的工作原理
4．5．4HLog的工作原理
4．6HBase编程实践
4．6．1HBase常用的Shell命令
4．6．2HBase常用的JavaAPI及
应用实例
4．7本章小结
4．8习题
第5章NoSQL数据库
5．1NoSQL简介
5．2NoSQL兴起的原因
5．2．1关系数据库法满足Web2．0的
需求
5．2．2关系数据库的关键特性在Web2．
时代成为"鸡肋"
5．3NoSQL与关系数据库的比较
5．4NoSQL的四大类型
5．4．1键值数据库
5．4．2列族数据库
5．4．3文档数据库
5．4．4图形数据库
5．5NoSQL的三大基石
5．5．1CAP
5．5．2BASE
5．5．3最终一致性
5．6从NoSQL到NewSQL数据库
5．7本章小结
5．8习题
第6章云数据库
6．1云数据库概述
6．1．1云计算是云数据库兴起的
基础
6．1．2云数据库的概念
6．1．3云数据库的特性
6．1．4云数据库是个性化数据存储
需求的理想选择
6．1．5云数据库与其他数据库的关系
6．2云数据库产品
6．2．1云数据库厂商概述
6．2．2Amazon的云数据库产品
6．2．3Google的云数据库产品
6．2．4微软的云数据库产品
6．2．5其他云数据库产品
6．3云数据库系统架构
6．3．1UMP系统概述
6．3．2UMP系统架构
6．3．3UMP系统功能
6．4云数据库实践
6．4．1阿里云RDS简介
6．4．2RDS中的概念
6．4．3购买和使用RDS数据库
6．4．4将本地数据库迁移到云端RDS数据库
6．5本章小结
6．6习题
第三篇大数据处理与分析
第7章MapReduce
7．1概述
7．1．1分布式并行编程
7．1．2MapReduce模型简介
7．1．3Map和Reduce函数
7．2MapReduce的工作流程
7．2．1工作流程概述
7．2．2MapReduce的各个执行阶段
7．2．3Shuffle过程详解
7．3实例分析：WordCount
7．3．1WordCount的程序任务
7．3．2WordCount的设计思路
7．3．3MapReduce的具体执行过程
7．3．4一个WordCount执行过程的
实例
7．4MapReduce的具体应用
7．4．1MapReduce在关系代数
运算中的应用
7．4．2分组与聚合运算
7．4．3矩阵-向量乘法
7．4．4矩阵乘法
7．5MapReduce编程实践
7．5．1任务要求
7．5．2编写Map处理逻辑
7．5．3编写Reduce处理逻辑
7．5．4编写main方法
7．5．5编译打包代码以及运行程序
7．6本章小结
7．7习题
第8章流计算
8．1流计算概述
8．1．1静态数据和流数据
8．1．2批量计算和实时计算
8．1．3流计算的概念
8．1．4流计算与Hadoop
8．1．5流计算框架
8．2流计算的处理流程
8．2．1概述
8．2．2数据实时采集
8．2．3数据实时计算
8．2．4实时查询服务
8．3流计算的应用
8．3．1应用场景1：实时分析
8．3．2应用场景2：实时交通
8．4开源流计算框架Storm
8．4．1Storm简介
· · · · · · (收起)
读后感
五年前刚毕业的时候，听一个大佬的演讲，以后的技术趋势是“大物移云”，大佬本身也是大数据方面的大牛，当时崇拜大佬，让我对大数据产生了兴趣。后来工作是偏通信网络，工作了三年后，毅然辞职，投身大数据领域，学习了数据分析、机器学习方面的知识，有一定的基础，但是对大...
五年前刚毕业的时候，听一个大佬的演讲，以后的技术趋势是“大物移云”，大佬本身也是大数据方面的大牛，当时崇拜大佬，让我对大数据产生了兴趣。后来工作是偏通信网络，工作了三年后，毅然辞职，投身大数据领域，学习了数据分析、机器学习方面的知识，有一定的基础，但是对大...
五年前刚毕业的时候，听一个大佬的演讲，以后的技术趋势是“大物移云”，大佬本身也是大数据方面的大牛，当时崇拜大佬，让我对大数据产生了兴趣。后来工作是偏通信网络，工作了三年后，毅然辞职，投身大数据领域，学习了数据分析、机器学习方面的知识，有一定的基础，但是对大...
看过老师的视频，知道这本书，非常好，老师视频讲解的很好，都是干货，原理这种解释，是其他的不常见的，第二版书不知道什么时候出来、 出来的话一定买一本，留存。 评论多长够长，难道这也算短？长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长...
五年前刚毕业的时候，听一个大佬的演讲，以后的技术趋势是“大物移云”，大佬本身也是大数据方面的大牛，当时崇拜大佬，让我对大数据产生了兴趣。后来工作是偏通信网络，工作了三年后，毅然辞职，投身大数据领域，学习了数据分析、机器学习方面的知识，有一定的基础，但是对大...
用户评价
拿到这本《大数据技术原理与应用》已经有一段时间了，我一直想找个时间来好好梳理一下我最近在学习和工作中使用它的一些体会。坦白说，这本书虽然书名听起来很技术，但它的内容却比我想象的要更加深入和全面。我尤其对书中关于数据采集与预处理的部分印象深刻。作者并没有停留在概念的堆砌，而是详细地讲解了各种数据采集的渠道，比如网络爬虫、API接口、传感器数据等等，并且针对不同类型的数据，给出了相应的处理方法和策略。例如，在处理海量文本数据时，书中不仅介绍了分词、词性标注等基础 NLP 技术，还深入探讨了如何利用分布式框架进行高效的文本清洗和特征提取，这对于我之前工作中遇到的数据噪音问题提供了非常有价值的解决方案。
这本书在数据挖掘算法的讲解上，做得非常出色。我一直对机器学习算法的理论基础有些模糊，而《大数据技术原理与应用》用一种非常易于理解的方式，将各种经典的挖掘算法，例如聚类、分类、关联规则等，进行了清晰的阐述。更重要的是，书中不仅讲解了算法的数学原理，还结合了实际的业务案例，展示了如何利用这些算法来解决实际问题。比如，在解释 Apriori 算法时，作者就以超市购物篮分析为例，生动地说明了如何发现用户购买行为的规律。此外，书中还涉及了深度学习在数据挖掘中的应用，这让我对新兴技术有了更深的认识。
最让我欣慰的是，《大数据技术原理与应用》在实际应用方面的内容非常丰富。作者并没有停留在理论的讲解，而是深入剖析了大数据技术在各个行业中的落地实践。我看到了金融、医疗、电商、交通等不同领域是如何利用大数据来驱动业务创新、提升运营效率的。书中引用了许多真实的项目案例，让我能够清晰地了解到大数据技术是如何解决实际业务挑战的，比如如何利用用户画像进行精准营销，如何通过数据分析来优化供应链管理，以及如何构建智能交通系统等等。这给了我极大的信心，让我相信大数据技术在未来的发展潜力无限。
《大数据技术原理与应用》在数据可视化这一块，也给我留下了深刻的印象。在实际工作中，将复杂的数据分析结果以直观的方式呈现给非技术人员，一直是我的一个痛点。这本书在这方面给了我很多启发。它详细介绍了多种数据可视化工具和技术，比如 Tableau、Power BI，以及 D3.js 等，并分享了许多优秀的可视化案例。我特别欣赏书中关于如何设计有效的图表、如何选择合适的颜色搭配、以及如何通过交互式可视化来提升用户体验的讲解。这让我明白，数据可视化不仅仅是技术层面的展示，更是一种沟通和表达思想的艺术。
不得不说，《大数据技术原理与应用》在分布式存储方面的内容让我眼前一亮。我之前接触过的分布式存储系统往往只停留在理论层面，而这本书则结合了实际的应用场景，详细解析了 HDFS、Cassandra 等主流分布式文件系统的架构原理和优缺点。让我特别惊喜的是，书中通过大量的图示和代码示例，清晰地展示了数据是如何在集群中进行分布、存储、复制和容错的，这对于理解分布式系统的一致性、可用性等核心概念非常有帮助。而且，作者还针对不同业务需求，给出了如何选择合适的存储方案的建议，比如针对海量文件的 HDFS，以及针对结构化和半结构化数据的 NoSQL 数据库。这使得我不再是死记硬背理论，而是能够将所学知识融会贯通，应用到实际的项目设计中。
我觉得我还是需要老师讲一讲，不过光自己看也比不看强点吧，能看懂点是点
我觉得我还是需要老师讲一讲，不过光自己看也比不看强点吧，能看懂点是点
内容比较浅，改名叫大数据入门还行，大部分内容之前都有些了解。作为一个没搞过大数据的后端开发，放假花两天时间翻一翻还凑合。
非常不错的一本大数据入门书，林子雨老师治学还是非常严谨的，配套的网站和ppt也有很多非常有用的资料，很赞！
只能看懂头尾…
