具体描述
百度资深Hadoop技术专家和高级算法工程师撰写，结合百度大数据实践，直击企业痛点，多位大数据技术专家联袂推荐！
从使用、原理、运维和开发4个方面深度讲解Hadoop最核心的技术
这是一本技术深度与企业实践并重的著作，由百度顶尖的Hadoop技术工程师撰写，是百度Hadoop技术实践经验的总结。本书使用、实现原理、运维和开发4个方面对Hadoop的核心技术进行了深入的讲解：
（1）使用：详细讲解了HDFS存储系统、MapReduce计算框架，以及HDFS的命令系统；
（2）原理：结合源代码，深度分析了MapReduce、HDFS、Streaming、Pipes、Hadoop作业调度系统等重要技术和组件的架构设计、工作机制和实现原理；
（3）运维：结合百度的实际生产环境，详细讲解了Hadoop集群的安装、配置、测试以及管理和运维；
（4）开发：详细讲解了Hadoop Streaming、Pipes的使用和开发实践，以及MapReduce的编程实践和常见问题。
与市面上已有的Hadoop相比，本书的最大不同之处是它直切企业应用和实践Hadoop技术的痛点，深入讲解了企业最需要和最头疼的技术和问题，内容上非常聚焦。
《分布式系统原理与实践》 概述 本书深入探讨了现代分布式系统的理论基础、设计模式、核心组件以及实际应用。在信息爆炸和数据量呈指数级增长的今天，构建能够处理海量数据、提供高可用性和强大扩展性的系统已成为各行各业的迫切需求。分布式系统正是解决这一挑战的关键。本书旨在为读者提供一个全面而深入的视角，理解分布式系统是如何运作的，以及如何设计、实现和运维这些复杂而强大的系统。 本书的内容涵盖了分布式系统设计的方方面面，从基础的概念模型到高级的协调机制，再到面向大规模数据处理的特定技术。我们不会仅仅停留在理论层面，而是会结合大量的实例和实践经验，帮助读者掌握将理论知识转化为实际解决方案的能力。无论是初涉分布式系统领域的工程师，还是希望深化理解的资深开发者，抑或是对大规模计算架构感兴趣的研究人员，都能从本书中获得宝贵的知识和启示。 第一部分：分布式系统基础理论 本部分是理解后续内容的基础，我们将从分布式系统的基本概念入手，逐步深入到其内在的挑战和设计原则。 什么是分布式系统？ 定义与特征：我们首先明确分布式系统的概念，它是由多个独立的计算节点通过网络互联，协同工作以完成共同任务的系统。我们将讨论其区别于集中式系统的核心特征，如并发性、无全局时钟、独立故障等。 分布式系统的优势：探讨分布式系统为何如此重要，包括提高可靠性（容错）、增强可扩展性（处理更大负载）、提升性能（并行处理）以及实现地理分布（就近服务）等。 分布式系统的挑战：深入分析分布式系统带来的固有难题，例如网络延迟、节点故障、数据一致性、并发控制、进程同步、安全性等，这些都是设计健壮分布式系统需要面对的关键问题。 分布式系统模型 客户端-服务器（C/S）模型：这是最常见的一种模型，我们将分析其工作原理、优缺点，以及在现代应用中的体现。 点对点（P2P）模型：探讨P2P系统的架构，如分布式哈希表（DHT）、文件共享系统等，以及其去中心化带来的优势和挑战。 中间件模型：理解消息队列、RPC（远程过程调用）等中间件在分布式系统中的作用，它们如何解耦服务，简化开发。 微服务架构：分析当前流行的微服务架构，它是如何将大型应用拆分成独立、可部署的服务单元，并在此基础上构建分布式系统。 分布式系统中的关键问题 通信： 网络协议：TCP/IP协议栈在分布式系统中的基础作用，以及UDP在某些场景下的应用。 消息传递：同步通信与异步通信的对比，消息队列（如RabbitMQ, Kafka）在解耦和削峰填谷中的作用。 远程过程调用（RPC）：RPC的原理，如gRPC, Thrift等框架的介绍，以及其如何实现跨语言、跨进程的服务调用。 RESTful API：作为一种轻量级的通信方式，在构建分布式服务时的应用。 同步与时钟： 全局时钟的缺失：分布式系统没有一个统一的全局时钟，这带来的“因果关系”问题。 逻辑时钟：Lamport时钟和向量时钟的概念，以及它们如何用来确定事件的发生顺序。 物理时钟同步：NTP（网络时间协议）等机制在尽量同步各节点时间中的作用及局限性。 一致性模型： 强一致性（Linearizability）：概念、实现难度以及在特定场景下的必要性。 弱一致性：包括最终一致性、读写一致性、会话一致性等，探讨它们在追求可用性和性能时的权衡。 一致性协议：CAP理论的深入解读（一致性、可用性、分区容错性），以及BASE理论（Basically Available, Soft state, Eventually consistent）的提出。 第二部分：分布式系统核心组件与技术 本部分将聚焦于构建分布式系统的关键技术和组件，介绍它们的工作原理和实际应用。 分布式数据存储 NoSQL数据库： 键值存储（Key-Value Stores）：如Redis, Memcached，理解其简单高效的存储模型，以及在缓存、会话管理中的应用。 列族存储（Column-Family Stores）：如HBase，探讨其适合存储海量稀疏数据的特点，以及在日志、时序数据处理中的应用。 文档存储（Document Stores）：如MongoDB，介绍其灵活的文档结构，以及在内容管理、用户配置等方面的优势。 图数据库（Graph Databases）：如Neo4j，理解其在存储和查询关系型数据上的独特优势，例如社交网络、推荐系统。 分布式关系型数据库： 分片（Sharding）：讲解数据如何在多个数据库节点之间进行划分，以实现水平扩展。 数据复制（Replication）：主从复制、多主复制等，以及它们在提高可用性和读性能方面的作用。 分布式事务：两阶段提交（2PC）、三阶段提交（3PC）等协议，以及它们在保证数据一致性方面的挑战和局限性。 分布式协调服务 ZooKeeper： 架构与核心概念：介绍ZooKeeper的分布式协调模型，如ZooNodes、Watchers，以及其提供的分布式锁、配置管理、服务注册与发现等功能。 ZooKeeper的应用场景：详细讲解ZooKeeper如何在实际系统中扮演关键角色，例如HBase的Master选举、Kafka的Broker协调等。 etcd： 作为Kubernetes的事实标准，介绍etcd的设计理念、Raft共识算法的实现，以及其在分布式配置管理、服务发现中的应用。 分布式计算框架 批处理计算： MapReduce模型：深入剖析MapReduce的工作流程、InputFormat、OutputFormat，以及其在离线数据处理中的经典地位。 Spark：介绍Spark的内存计算优势、DAG执行模型，以及其在批处理、流处理、机器学习等领域的广泛应用。 流式计算： Storm：讲解Storm的实时计算架构，Trident API，以及其在日志分析、实时监控等场景的应用。 Flink：介绍Flink的“真正”流式处理能力，状态管理、Event Time处理，以及其在复杂事件处理（CEP）等方面的强大功能。 分布式消息队列 Kafka： 架构与核心概念：深入理解Kafka的Producer、Consumer、Broker、Topic、Partition等核心组件。 消息传递模型：讲解Kafka的发布/订阅模型，消息的持久化、顺序保证等。 Kafka的应用：在实时数据流处理、日志聚合、事件驱动架构中的广泛应用。 RabbitMQ： AMQP协议：介绍RabbitMQ所遵循的AMQP协议，以及其 Exchanges、Queues、Bindings等概念。 消息路由：理解不同类型的Exchange（Direct, Topic, Fanout, Headers）如何实现灵活的消息路由。 RabbitMQ的特点：适用于传统的企业级应用集成、任务队列等场景。 第三部分：分布式系统的设计模式与架构实践 本部分将结合实际应用，介绍分布式系统的常见设计模式和架构原则，帮助读者构建可维护、可扩展、高可用的系统。 服务注册与发现 为什么需要服务注册与发现：讲解在动态变化的分布式环境中，客户端如何找到可用的服务实例。 实现方式：基于ZooKeeper/etcd的注册中心，DNS服务，以及商业化的服务注册与发现系统（如Eureka, Consul）。 负载均衡 负载均衡的必要性：解决单点压力，提高系统吞吐量。 负载均衡算法：轮询、加权轮询、最少连接、IP哈希等。 负载均衡的部署：客户端负载均衡、DNS负载均衡、服务器端负载均衡（如Nginx, LVS）。 容错与高可用 失效检测：心跳机制、超时机制。 冗余与备份：数据冗余、服务冗余。 优雅降级：在系统过载时，主动牺牲部分非核心功能，保证核心服务的可用性。 断路器模式（Circuit Breaker）：防止级联故障，快速失败。 重试机制：解决瞬时网络故障。 分布式事务处理 CAP理论下的挑战：如何设计在分布式环境中保证数据一致性的事务。 最终一致性方案：补偿事务（SAGA模式）。 基于两阶段提交（2PC）的实现：以及其在分布式数据库中的应用和潜在问题。 分布式系统中的安全性 身份认证与授权：OAuth2, JWT等。 数据加密：传输加密（TLS/SSL），存储加密。 API安全：防止SQL注入、XSS攻击等。 第四部分：分布式系统的运维与监控 一个健壮的分布式系统离不开精良的运维和有效的监控。 日志管理 集中式日志收集：ELK Stack（Elasticsearch, Logstash, Kibana）或EFK Stack（Elasticsearch, Fluentd, Kibana）的应用。 日志格式化与结构化：方便搜索和分析。 指标监控 关键指标：CPU、内存、网络、磁盘IO、请求延迟、错误率等。 监控工具：Prometheus, Grafana, Zabbix。 告警系统 告警规则的设定：基于阈值、异常检测。 告警通知：邮件、短信、Webhook。 分布式追踪 链路追踪：Zipkin, Jaeger，用于跟踪请求在分布式系统中的完整路径，定位瓶颈。 自动化部署与配置管理 CI/CD流水线：Jenkins, GitLab CI。 配置管理工具：Ansible, Chef, Puppet。 容器化技术：Docker, Kubernetes。 结论 《分布式系统原理与实践》通过系统性的梳理，从理论到实践，从组件到架构，再到运维，为读者提供了一张分布式系统技术的全景图。掌握这些知识，不仅能够帮助开发者设计和构建满足现代业务需求的分布式应用，更能培养出解决复杂技术挑战的思维方式。分布式系统的世界日新月异，本书致力于提供一个坚实的基础，助力读者在这个激动人心的领域中不断探索和前行。
作者简介
翟周伟
就职于百度，资深Hadoop技术专家，专注于Hadoop&大数据，数据挖掘，自然语言处理领域。2009年便开始利用Hadoop构建商业级大数据系统，是国内该领域最早的一批人之一，负责设计过多个基于Hadoop的大数据平台和分析系统。2011年合著出版《Hadoop开源云计算平台》，并在自然语言处理领域申请过一项发明专利。
目录信息
前 言
基 础 篇
第1章 认识Hadoop 2
1.1 缘于搜索的小象 2
1.1.1 Hadoop的身世 2
1.1.2 Hadoop简介 3
1.1.3 Hadoop发展简史 6
1.2 大数据、Hadoop和云计算 7
1.2.1 大数据 7
1.2.2 大数据、Hadoop和云计算的关系 8
1.3 设计思想与架构 9
1.3.1 数据存储与切分 9
1.3.2 MapReduce模型 11
1.3.3 MPI和MapReduce 13
1.4 国外Hadoop的应用现状 13
1.5 国内Hadoop的应用现状 17
1.6 Hadoop发行版 20
1.6.1 Apache Hadoop 20
1.6.2 Cloudera Hadoop 20
1.6.3 Hortonworks Hadoop发行版 21
1.6.4 MapR Hadoop发行版 22
1.6.5 IBM Hadoop发行版 24
1.6.6 Intel Hadoop发行版 24
1.6.7 华为Hadoop发行版 25
1.7 小结 26
第2章 Hadoop使用之初体验 27
2.1 搭建测试环境 27
2.1.1 软件与准备 27
2.1.2 安装与配置 28
2.1.3 启动与停止 29
2.2 算法分析与设计 31
2.2.1 Map设计 31
2.2.2 Reduce设计 32
2.3 实现接口 32
2.3.1 Java API实现 33
2.3.2 Streaming接口实现 36
2.3.3 Pipes接口实现 38
2.4 编译 40
2.4.1 基于Java API实现的编译 40
2.4.2 基于Streaming实现的编译 40
2.4.3 基于Pipes实现的编译 41
2.5 提交作业 41
2.5.1 基于Java API实现作业提交 41
2.5.2 基于Streaming实现作业提交 42
2.5.3 基于Pipes实现作业提交 43
2.6 小结 44
第3章 Hadoop存储系统 45
3.1 基本概念 46
3.1.1 NameNode 46
3.1.2 DateNode 46
3.1.3 客户端 47
3.1.4 块 47
3.2 HDFS的特性和目标 48
3.2.1 HDFS的特性 48
3.2.2 HDFS的目标 48
3.3 HDFS架构 49
3.3.1 Master/Slave架构 49
3.3.2 NameNode和Secondary NameNode通信模型 51
3.3.3 文件存取机制 52
3.4 HDFS核心设计 54
3.4.1 Block大小 54
3.4.2 数据复制 55
3.4.3 数据副本存放策略 56
3.4.4 数据组织 57
3.4.5 空间回收 57
3.4.6 通信协议 58
3.4.7 安全模式 58
3.4.8 机架感知 59
3.4.9 健壮性 59
3.4.10 负载均衡 60
3.4.11 升级和回滚机制 62
3.5 HDFS权限管理 64
3.5.1 用户身份 64
3.5.2 系统实现 65
3.5.3 超级用户 65
3.5.4 配置参数 65
3.6 HDFS配额管理 66
3.7 HDFS的缺点 67
3.8 小结 68
第4章 HDFS的使用 69
4.1 HDFS环境准备 69
4.1.1 HDFS安装配置 69
4.1.2 HDFS格式化与启动 70
4.1.3 HDFS运行检查 70
4.2 HDFS命令的使用 71
4.2.1 fs shell 71
4.2.2 archive 77
4.2.3 distcp 78
4.2.4 fsck 81
4.3 HDFS Java API的使用方法 82
4.3.1 Java API简介 82
4.3.2 读文件 82
4.3.3 写文件 86
4.3.4 删除文件或目录 90
4.4 C接口libhdfs 91
4.4.1 libhdfs介绍 91
4.4.2 编译与部署 91
4.4.3 libhdfs接口介绍 92
4.4.4 libhdfs使用举例 95
4.5 WebHDFS接口 97
4.5.1 WebHDFS REST API简介 97
4.5.2 WebHDFS配置 98
4.5.3 WebHDFS使用 98
4.5.4 WebHDFS错误响应和查询参数 101
4.6 小结 103
第5章 MapReduce计算框架 104
5.1 Hadoop MapReduce简介 104
5.2 MapReduce模型 105
5.2.1 MapReduce编程模型 105
5.2.2 MapReduce实现原理 106
5.3 计算流程与机制 108
5.3.1 作业提交和初始化 108
5.3.2 Mapper 110
5.3.3 Reducer 111
5.3.4 Reporter和OutputCollector 112
5.4 MapReduce的输入/输出格式 113
5.4.1 输入格式 113
5.4.2 输出格式 118
5.5 核心问题 124
5.5.1 Map和Reduce数量 124
5.5.2 作业配置 126
5.5.3 作业执行和环境 127
5.5.4 作业容错机制 129
5.5.5 作业调度 131
5.6 有用的MapReduce特性 132
5.6.1 计数器 132
5.6.2 DistributedCache 134
5.6.3 Tool 135
5.6.4 IsolationRunner 136
5.6.5 Prof?iling 136
5.6.6 MapReduce调试 136
5.6.7 数据压缩 137
5.6.8 优化 138
5.7 小结 138
第6章 Hadoop命令系统 139
6.1 Hadoop命令系统的组成 139
6.2 用户命令 141
6.3 管理员命令 144
6.4 测试命令 148
6.5 应用命令 156
6.6 Hadoop的streaming命令 163
6.6.1 streaming命令 163
6.6.2 参数使用分析 164
6.7 Hadoop的pipes命令 168
6.7.1 pipes命令 168
6.7.2 参数使用分析 169
6.8 小结 170
高 级 篇
第7章 MapReduce深度分析 172
7.1 MapReduce总结构分析 172
7.1.1 数据流向分析 172
7.1.2 处理流程分析 174
7.2 MapTask实现分析 176
7.2.1 总逻辑分析 176
7.2.2 Read阶段 178
7.2.3 Map阶段 178
7.2.4 Collector和Partitioner阶段 180
7.2.5 Spill阶段 181
7.2.6 Merge阶段 185
7.3 ReduceTask实现分析 186
7.3.1 总逻辑分析 186
7.3.2 Shuffle阶段 187
7.3.3 Merge阶段 189
7.3.4 Sort阶段 190
7.3.5 Reduce阶段 191
7.4 JobTracker分析 192
7.4.1 JobTracker服务分析 192
7.4.2 JobTracker启动分析 193
7.4.3 JobTracker核心子线程分析 195
7.5 TaskTracker分析 201
7.5.1 TaskTracker启动分析 201
7.5.2 TaskTracker核心子线程分析 205
7.6 心跳机制实现分析 207
7.6.1 心跳检测分析 207
7.6.2 TaskTracker.transmitHeart-Beat() 207
7.6.3 JobTracker.heartbeat() 209
7.6.4 JobTracker.processHeartbeat() 212
7.7 作业创建分析 213
7.7.1 初始化分析 214
7.7.2 作业提交分析 215
7.8 作业执行分析 217
7.8.1 JobTracker初始化 218
7.8.2 TaskTracker.startNewTask() 220
7.8.3 TaskTracker.localizeJob() 220
7.8.4 TaskRunner.run() 221
7.8.5 MapTask.run() 222
7.9 小结 223
第8章 Hadoop Streaming和Pipes原理与实现 224
8.1 Streaming原理浅析 224
8.2 Streaming实现架构 226
8.3 Streaming核心实现机制 227
8.3.1 主控框架实现 227
8.3.2 用户进程管理 228
8.3.3 框架和用户程序的交互 229
8.3.4 PipeMapper和PiperReducer 230
8.4 Pipes原理浅析 231
8.5 Pipes实现架构 233
8.6 Pipes核心实现机制 234
8.6.1 主控类实现 234
8.6.2 用户进程管理 235
8.6.3 PipesMapRunner 235
8.6.4 PipesReducer 238
8.6.5 C++端HadoopPipes 238
8.7 小结 239
第9章 Hadoop作业调度系统 240
9.1 作业调度概述 241
9.1.1 相关概念 241
9.1.2 作业调度流程 242
9.1.3 集群资源组织与管理 243
9.1.4 队列控制和权限管理 244
9.1.5 插件式调度框架 245
9.2 FIFO调度器 246
9.2.1 基本调度策略 246
9.2.2 FIFO实现分析 247
9.2.3 FIFO初始化与停止 248
9.2.4 作业监听控制 249
9.2.5 任务分配算法 250
9.2.6 配置与使用 254
9.3 公平调度器 254
9.3.1 产生背景 254
9.3.2 主要功能 255
9.3.3 基本调度策略 255
9.3.4 FairScheduler实现分析 257
9.3.5 FairScheduler启停分析 258
9.3.6 作业监听控制 260
9.3.7 资源池管理 260
9.3.8 作业更新策略 262
9.3.9 作业权重和资源量的计算 266
9.3.10 任务分配算法 267
9.3.11 FairScheduler配置参数 268
9.3.12 使用与管理 270
9.4 容量调度器 272
9.4.1 产生背景 272
9.4.2 主要功能 272
9.4.3 基本调度策略 274
9.4.4 CapacityScheduler实现分析 274
9.4.5 CapacityScheduler启停分析 275
9.4.6 作业监听控制 277
9.4.7 作业初始化分析 277
9.4.8 任务分配算法 278
9.4.9 内存匹配机制 279
9.4.10 配置与使用 280
9.5 调度器对比分析 283
9.5.1 调度策略对比 283
9.5.2 队列和优先级 283
9.5.3 资源分配保证 283
9.5.4 作业限制 284
9.5.5 配置管理 284
9.5.6 扩展性支持 284
9.5.7 资源抢占和延迟调度 284
9.5.8 优缺点分析 285
9.6 其他调度器 285
9.6.1 HOD调度器 285
9.6.2 LATE调度器 286
9.7 小结 288
实 战 篇
第10章 Hadoop集群搭建 290
10.1 Hadoop版本的选择 290
10.2 集群基础硬件需求 291
10.2.1 内存 291
10.2.2 CPU 292
10.2.3 磁盘 292
10.2.4 网卡 293
10.2.5 网络拓扑 293
10.3 集群基础软件需求 294
10.3.1 操作系统 294
10.3.2 JVM和SSH 295
10.4 虚拟化需求 295
10.5 事前准备 296
10.5.1 创建安装用户 296
10.5.2 安装Java 297
10.5.3 安装SSH并设置 297
10.5.4 防火墙端口设置 298
10.6 安装Hadoop 298
10.6.1 安装HDFS 299
10.6.2 安装MapReduce 299
10.7 集群配置 300
10.7.1 配置管理 300
10.7.2 环境变量配置 301
10.7.3 核心参数配置 302
10.7.4 HDFS参数配置 303
10.7.5 MapReduce参数配置 306
10.7.6 masters和slaves配置 313
10.7.7 客户端配置 313
10.8 启动和停止 314
10.8.1 启动/停止HDFS 314
10.8.2 启动/停止MapReduce 315
10.8.3 启动验证 315
10.9 集群基准测试 316
10.9.1 HDFS基准测试 316
10.9.2 MapReduce基准测试 317
10.9.3 综合性能测试 318
10.10 集群搭建实例 319
10.10.1 部署策略 319
10.10.2 软件和硬件环境 320
10.10.3 Hadoop安装 321
10.10.4 配置core-site.xml 321
10.10.5 配置hdfs-site.xml 322
10.10.6 配置mapred-site.xml 322
10.10.7 SecondaryNameNode和Slave 324
10.10.8 配置作业队列 324
10.10.9 配置第三方调度器 325
10.10.10 启动与验证 327
10.11 小结 327
第11章 Hadoop Streaming和Pipes编程实战 328
11.1 Streaming基础编程 328
11.1.1 Streaming编程入门 328
11.1.2 Map和Reduce数目 331
11.1.3 队列、优先级及权限 332
11.1.4 分发文件和压缩包 333
11.1.5 压缩参数的使用 336
11.1.6 本地作业的调试 338
11.2 Streaming高级应用 338
11.2.1 参数与环境变量传递 339
11.2.2 自定义分隔符 340
11.2.3 自定义Partitioner 343
11.2.4 自定义计数器 347
11.2.5 处理二进制数据 347
11.2.6 使用聚合函数 351
11.3 Pipes编程接口 352
11.3.1 TaskContext 352
11.3.2 Mapper 353
11.3.3 Reducer 354
11.3.4 Partitioner 354
11.3.5 RecordReader 355
11.3.6 RecordWriter 356
11.4 Pipes编程应用 357
11.5 小结 359
第12章 Hadoop MapReduce应用开发 360
12.1 开发环境准备 360
12.2 Eclipse集成环境开发 361
12.2.1 构建MapReduce Eclipse IDE 361
12.2.2 开发示例 363
12.3 MapReduce Java API编程 368
12.3.1 Mapper编程接口 369
12.3.2 Reducer编程接口 370
12.3.3 驱动类编写 372
12.3.4 编译运行 373
12.4 压缩功能使用 374
12.4.1 Hadoop数据压缩 374
12.4.2 压缩特征与性能 374
12.4.3 本地压缩库 375
12.4.4 使用压缩 376
12.5 排序应用 378
12.5.1 Hadoop排序问题 378
12.5.2 二次排序 378
12.5.3 比较器和组合排序 380
12.5.4 全局排序 381
12.6 多路输出 382
12.7 常见问题与处理方法 384
12.7.1 常见的开发问题 384
12.7.2 运行时错误问题 386
12.8 小结 387
· · · · · · (收起)
基 础 篇
第1章 认识Hadoop 2
1.1 缘于搜索的小象 2
1.1.1 Hadoop的身世 2
1.1.2 Hadoop简介 3
1.1.3 Hadoop发展简史 6
1.2 大数据、Hadoop和云计算 7
1.2.1 大数据 7
1.2.2 大数据、Hadoop和云计算的关系 8
1.3 设计思想与架构 9
1.3.1 数据存储与切分 9
1.3.2 MapReduce模型 11
1.3.3 MPI和MapReduce 13
1.4 国外Hadoop的应用现状 13
1.5 国内Hadoop的应用现状 17
1.6 Hadoop发行版 20
1.6.1 Apache Hadoop 20
1.6.2 Cloudera Hadoop 20
1.6.3 Hortonworks Hadoop发行版 21
1.6.4 MapR Hadoop发行版 22
1.6.5 IBM Hadoop发行版 24
1.6.6 Intel Hadoop发行版 24
1.6.7 华为Hadoop发行版 25
1.7 小结 26
第2章 Hadoop使用之初体验 27
2.1 搭建测试环境 27
2.1.1 软件与准备 27
2.1.2 安装与配置 28
2.1.3 启动与停止 29
2.2 算法分析与设计 31
2.2.1 Map设计 31
2.2.2 Reduce设计 32
2.3 实现接口 32
2.3.1 Java API实现 33
2.3.2 Streaming接口实现 36
2.3.3 Pipes接口实现 38
2.4 编译 40
2.4.1 基于Java API实现的编译 40
2.4.2 基于Streaming实现的编译 40
2.4.3 基于Pipes实现的编译 41
2.5 提交作业 41
2.5.1 基于Java API实现作业提交 41
2.5.2 基于Streaming实现作业提交 42
2.5.3 基于Pipes实现作业提交 43
2.6 小结 44
第3章 Hadoop存储系统 45
3.1 基本概念 46
3.1.1 NameNode 46
3.1.2 DateNode 46
3.1.3 客户端 47
3.1.4 块 47
3.2 HDFS的特性和目标 48
3.2.1 HDFS的特性 48
3.2.2 HDFS的目标 48
3.3 HDFS架构 49
3.3.1 Master/Slave架构 49
3.3.2 NameNode和Secondary NameNode通信模型 51
3.3.3 文件存取机制 52
3.4 HDFS核心设计 54
3.4.1 Block大小 54
3.4.2 数据复制 55
3.4.3 数据副本存放策略 56
3.4.4 数据组织 57
3.4.5 空间回收 57
3.4.6 通信协议 58
3.4.7 安全模式 58
3.4.8 机架感知 59
3.4.9 健壮性 59
3.4.10 负载均衡 60
3.4.11 升级和回滚机制 62
3.5 HDFS权限管理 64
3.5.1 用户身份 64
3.5.2 系统实现 65
3.5.3 超级用户 65
3.5.4 配置参数 65
3.6 HDFS配额管理 66
3.7 HDFS的缺点 67
3.8 小结 68
第4章 HDFS的使用 69
4.1 HDFS环境准备 69
4.1.1 HDFS安装配置 69
4.1.2 HDFS格式化与启动 70
4.1.3 HDFS运行检查 70
4.2 HDFS命令的使用 71
4.2.1 fs shell 71
4.2.2 archive 77
4.2.3 distcp 78
4.2.4 fsck 81
4.3 HDFS Java API的使用方法 82
4.3.1 Java API简介 82
4.3.2 读文件 82
4.3.3 写文件 86
4.3.4 删除文件或目录 90
4.4 C接口libhdfs 91
4.4.1 libhdfs介绍 91
4.4.2 编译与部署 91
4.4.3 libhdfs接口介绍 92
4.4.4 libhdfs使用举例 95
4.5 WebHDFS接口 97
4.5.1 WebHDFS REST API简介 97
4.5.2 WebHDFS配置 98
4.5.3 WebHDFS使用 98
4.5.4 WebHDFS错误响应和查询参数 101
4.6 小结 103
第5章 MapReduce计算框架 104
5.1 Hadoop MapReduce简介 104
5.2 MapReduce模型 105
5.2.1 MapReduce编程模型 105
5.2.2 MapReduce实现原理 106
5.3 计算流程与机制 108
5.3.1 作业提交和初始化 108
5.3.2 Mapper 110
5.3.3 Reducer 111
5.3.4 Reporter和OutputCollector 112
5.4 MapReduce的输入/输出格式 113
5.4.1 输入格式 113
5.4.2 输出格式 118
5.5 核心问题 124
5.5.1 Map和Reduce数量 124
5.5.2 作业配置 126
5.5.3 作业执行和环境 127
5.5.4 作业容错机制 129
5.5.5 作业调度 131
5.6 有用的MapReduce特性 132
5.6.1 计数器 132
5.6.2 DistributedCache 134
5.6.3 Tool 135
5.6.4 IsolationRunner 136
5.6.5 Prof?iling 136
5.6.6 MapReduce调试 136
5.6.7 数据压缩 137
5.6.8 优化 138
5.7 小结 138
第6章 Hadoop命令系统 139
6.1 Hadoop命令系统的组成 139
6.2 用户命令 141
6.3 管理员命令 144
6.4 测试命令 148
6.5 应用命令 156
6.6 Hadoop的streaming命令 163
6.6.1 streaming命令 163
6.6.2 参数使用分析 164
6.7 Hadoop的pipes命令 168
6.7.1 pipes命令 168
6.7.2 参数使用分析 169
6.8 小结 170
高 级 篇
第7章 MapReduce深度分析 172
7.1 MapReduce总结构分析 172
7.1.1 数据流向分析 172
7.1.2 处理流程分析 174
7.2 MapTask实现分析 176
7.2.1 总逻辑分析 176
7.2.2 Read阶段 178
7.2.3 Map阶段 178
7.2.4 Collector和Partitioner阶段 180
7.2.5 Spill阶段 181
7.2.6 Merge阶段 185
7.3 ReduceTask实现分析 186
7.3.1 总逻辑分析 186
7.3.2 Shuffle阶段 187
7.3.3 Merge阶段 189
7.3.4 Sort阶段 190
7.3.5 Reduce阶段 191
7.4 JobTracker分析 192
7.4.1 JobTracker服务分析 192
7.4.2 JobTracker启动分析 193
7.4.3 JobTracker核心子线程分析 195
7.5 TaskTracker分析 201
7.5.1 TaskTracker启动分析 201
7.5.2 TaskTracker核心子线程分析 205
7.6 心跳机制实现分析 207
7.6.1 心跳检测分析 207
7.6.2 TaskTracker.transmitHeart-Beat() 207
7.6.3 JobTracker.heartbeat() 209
7.6.4 JobTracker.processHeartbeat() 212
7.7 作业创建分析 213
7.7.1 初始化分析 214
7.7.2 作业提交分析 215
7.8 作业执行分析 217
7.8.1 JobTracker初始化 218
7.8.2 TaskTracker.startNewTask() 220
7.8.3 TaskTracker.localizeJob() 220
7.8.4 TaskRunner.run() 221
7.8.5 MapTask.run() 222
7.9 小结 223
第8章 Hadoop Streaming和Pipes原理与实现 224
8.1 Streaming原理浅析 224
8.2 Streaming实现架构 226
8.3 Streaming核心实现机制 227
8.3.1 主控框架实现 227
8.3.2 用户进程管理 228
8.3.3 框架和用户程序的交互 229
8.3.4 PipeMapper和PiperReducer 230
8.4 Pipes原理浅析 231
8.5 Pipes实现架构 233
8.6 Pipes核心实现机制 234
8.6.1 主控类实现 234
8.6.2 用户进程管理 235
8.6.3 PipesMapRunner 235
8.6.4 PipesReducer 238
8.6.5 C++端HadoopPipes 238
8.7 小结 239
第9章 Hadoop作业调度系统 240
9.1 作业调度概述 241
9.1.1 相关概念 241
9.1.2 作业调度流程 242
9.1.3 集群资源组织与管理 243
9.1.4 队列控制和权限管理 244
9.1.5 插件式调度框架 245
9.2 FIFO调度器 246
9.2.1 基本调度策略 246
9.2.2 FIFO实现分析 247
9.2.3 FIFO初始化与停止 248
9.2.4 作业监听控制 249
9.2.5 任务分配算法 250
9.2.6 配置与使用 254
9.3 公平调度器 254
9.3.1 产生背景 254
9.3.2 主要功能 255
9.3.3 基本调度策略 255
9.3.4 FairScheduler实现分析 257
9.3.5 FairScheduler启停分析 258
9.3.6 作业监听控制 260
9.3.7 资源池管理 260
9.3.8 作业更新策略 262
9.3.9 作业权重和资源量的计算 266
9.3.10 任务分配算法 267
9.3.11 FairScheduler配置参数 268
9.3.12 使用与管理 270
9.4 容量调度器 272
9.4.1 产生背景 272
9.4.2 主要功能 272
9.4.3 基本调度策略 274
9.4.4 CapacityScheduler实现分析 274
9.4.5 CapacityScheduler启停分析 275
9.4.6 作业监听控制 277
9.4.7 作业初始化分析 277
9.4.8 任务分配算法 278
9.4.9 内存匹配机制 279
9.4.10 配置与使用 280
9.5 调度器对比分析 283
9.5.1 调度策略对比 283
9.5.2 队列和优先级 283
9.5.3 资源分配保证 283
9.5.4 作业限制 284
9.5.5 配置管理 284
9.5.6 扩展性支持 284
9.5.7 资源抢占和延迟调度 284
9.5.8 优缺点分析 285
9.6 其他调度器 285
9.6.1 HOD调度器 285
9.6.2 LATE调度器 286
9.7 小结 288
实 战 篇
第10章 Hadoop集群搭建 290
10.1 Hadoop版本的选择 290
10.2 集群基础硬件需求 291
10.2.1 内存 291
10.2.2 CPU 292
10.2.3 磁盘 292
10.2.4 网卡 293
10.2.5 网络拓扑 293
10.3 集群基础软件需求 294
10.3.1 操作系统 294
10.3.2 JVM和SSH 295
10.4 虚拟化需求 295
10.5 事前准备 296
10.5.1 创建安装用户 296
10.5.2 安装Java 297
10.5.3 安装SSH并设置 297
10.5.4 防火墙端口设置 298
10.6 安装Hadoop 298
10.6.1 安装HDFS 299
10.6.2 安装MapReduce 299
10.7 集群配置 300
10.7.1 配置管理 300
10.7.2 环境变量配置 301
10.7.3 核心参数配置 302
10.7.4 HDFS参数配置 303
10.7.5 MapReduce参数配置 306
10.7.6 masters和slaves配置 313
10.7.7 客户端配置 313
10.8 启动和停止 314
10.8.1 启动/停止HDFS 314
10.8.2 启动/停止MapReduce 315
10.8.3 启动验证 315
10.9 集群基准测试 316
10.9.1 HDFS基准测试 316
10.9.2 MapReduce基准测试 317
10.9.3 综合性能测试 318
10.10 集群搭建实例 319
10.10.1 部署策略 319
10.10.2 软件和硬件环境 320
10.10.3 Hadoop安装 321
10.10.4 配置core-site.xml 321
10.10.5 配置hdfs-site.xml 322
10.10.6 配置mapred-site.xml 322
10.10.7 SecondaryNameNode和Slave 324
10.10.8 配置作业队列 324
10.10.9 配置第三方调度器 325
10.10.10 启动与验证 327
10.11 小结 327
第11章 Hadoop Streaming和Pipes编程实战 328
11.1 Streaming基础编程 328
11.1.1 Streaming编程入门 328
11.1.2 Map和Reduce数目 331
11.1.3 队列、优先级及权限 332
11.1.4 分发文件和压缩包 333
11.1.5 压缩参数的使用 336
11.1.6 本地作业的调试 338
11.2 Streaming高级应用 338
11.2.1 参数与环境变量传递 339
11.2.2 自定义分隔符 340
11.2.3 自定义Partitioner 343
11.2.4 自定义计数器 347
11.2.5 处理二进制数据 347
11.2.6 使用聚合函数 351
11.3 Pipes编程接口 352
11.3.1 TaskContext 352
11.3.2 Mapper 353
11.3.3 Reducer 354
11.3.4 Partitioner 354
11.3.5 RecordReader 355
11.3.6 RecordWriter 356
11.4 Pipes编程应用 357
11.5 小结 359
第12章 Hadoop MapReduce应用开发 360
12.1 开发环境准备 360
12.2 Eclipse集成环境开发 361
12.2.1 构建MapReduce Eclipse IDE 361
12.2.2 开发示例 363
12.3 MapReduce Java API编程 368
12.3.1 Mapper编程接口 369
12.3.2 Reducer编程接口 370
12.3.3 驱动类编写 372
12.3.4 编译运行 373
12.4 压缩功能使用 374
12.4.1 Hadoop数据压缩 374
12.4.2 压缩特征与性能 374
12.4.3 本地压缩库 375
12.4.4 使用压缩 376
12.5 排序应用 378
12.5.1 Hadoop排序问题 378
12.5.2 二次排序 378
12.5.3 比较器和组合排序 380
12.5.4 全局排序 381
12.6 多路输出 382
12.7 常见问题与处理方法 384
12.7.1 常见的开发问题 384
12.7.2 运行时错误问题 386
12.8 小结 387
· · · · · · (收起)
读后感
用户评价
这本书的理论深度着实让我捏了一把汗，感觉作者似乎对Hadoop的某些底层细节有着一种近乎逃避的态度。它花了大量的篇幅去描述Hadoop生态系统中各种组件（比如Hive、HBase）的安装步骤和基本命令行操作，这些内容固然重要，但更像是初级用户指南的堆砌，而非“核心技术”应有的深度剖析。例如，在讲解MapReduce框架时，对于数据如何在TaskTracker之间进行序列化和反序列化，以及JVM重用机制背后的具体实现逻辑，所述甚是简略，仅仅是一笔带过，没有提供任何深入的源码剖析或者性能调优的底层逻辑支撑。我期望看到的是关于YARN调度器中资源隔离策略的数学模型推导，或者NameNode在处理海量元数据时的内存管理技巧，而不是泛泛而谈的“通过配置可以优化性能”。读完后，我感觉自己掌握了一堆“怎么做”的技巧，却完全不理解“为什么会这样”的原理，这与我购买一本“核心技术”书籍的初衷背道而驰。
案例研究部分的设计显得非常空洞和脱离实际业务场景，充斥着大量教科书式的、脱离了真实世界复杂性的“玩具数据”和理想化的处理流程。比如，书中引用的那个关于处理日志文件的例子，数据量设定得极小，而且数据格式工整得令人发指，完全没有考虑到现实中数据清洗、缺失值处理、编码异常等棘手问题。在描述如何优化这个案例时，作者只是简单地建议增加Reducer数量，或者使用更快的磁盘，这种建议的普适性太差了，对于面对TB级别、结构混乱、需要复杂业务逻辑聚合的真实大数据项目来说，这些“优化”根本无济于事。我更希望看到的是，针对某个特定行业的（比如金融风控或者电商推荐）的真实数据挑战，如何结合Hadoop生态链中的多个组件进行集成和深度定制的实战剖析，而不是这种过于纯净、缺乏“烟火气”的理论演示。
技术细节的更新滞后性让我感到非常困惑，这本“核心技术”的书读起来像是一部上个时代的文物。书中对于很多关键组件的描述仍然停留在旧版本的架构上，比如在讲解资源管理时，对YARN的最新调度器（如CapacityScheduler或FairScheduler的最新增强特性）的介绍非常有限，更多的是强调老旧的MapReduce JobTracker的概念，这在当前主流的以Spark/Flink作为计算引擎的集群环境中显得格格不入。当我试图去实践书中的某些配置参数时，发现它们在当前主流的Hadoop发行版中已经不再适用，甚至已经被废弃了。这迫使我不得不频繁地在官方文档和社区论坛之间切换，去核实和修正书中提供的信息。出版一本技术书籍，尤其涉及快速迭代的分布式系统，时效性是生命线，这本书明显在这方面交了白卷，让我对作者对当前技术前沿的把握产生了深深的怀疑。
叙事逻辑的跳跃性是这本书中一个非常突出的问题，它让我的学习路径变得异常混乱。章节之间的衔接很不自然，仿佛是把不同时间点、针对不同读者群体的讲义生硬地拼凑在了一起。前一章还在深入探讨HDFS的NameNode高可用性设计中的JournalNode同步机制，逻辑严密，术语专业；而紧接着下一章，画风突变，开始用非常口语化的方式解释如何使用命令行工具上传一个小型文件，措辞简单到让人怀疑作者是不是把面向新手的快速入门章节错放到了这里。这种极端的落差感严重打断了我的思维连贯性。我需要花额外的时间去重新梳理知识点之间的依赖关系，去判断哪些是基础铺垫，哪些是高级应用，这本书本身没有提供清晰的“认知地图”，导致学习效率大打折扣，简直像是走在一个没有路标的迷宫里。
这本书的排版简直是灾难，我花了大价钱买来，结果打开后感觉像是盗印的盗印。首先，字体选择就让人头疼，正文部分采用了一种细得像发丝一样的宋体，阅读起来眼睛非常吃力，尤其是在光线稍暗的环境下，简直是折磨。更要命的是，图表的质量低劣得令人发指，那些本该清晰展示数据流向和架构关系的流程图，打印出来的边缘模糊不清，线条错综复杂，我反复对照着书本上的示意图，试图理解Hadoop集群的内部运作机制，结果却被那些像素化的图形搞得一头雾水，完全无法形成正确的空间认知。说实话，如果一个技术书籍的物理呈现都无法保证最基本的阅读体验，那么它在内容质量上我也只能持保留态度了。我不得不承认，我可能需要自己动手在网上找更高清的官方文档截图来辅助阅读这本书中的某些章节，这对于一本声称是“核心技术”的权威读物来说，是不可原谅的疏忽。
文字表达很好，讲解的很清楚
文字表达很好，讲解的很清楚
国内作者写的最好的Hadoop图书之一。
国内作者写的最好的Hadoop图书之一。
国内作者写的最好的Hadoop图书之一。
