前　言
第一部分　概述篇
第1章　企業級大數據技術體係概述 2
1.1　大數據係統産生背景及應用場景 2
1.1.1　産生背景 2
1.1.2　常見大數據應用場景 3
1.2　企業級大數據技術框架 5
1.2.1　數據收集層 6
1.2.2　數據存儲層 7
1.2.3　資源管理與服務協調層 7
1.2.4　計算引擎層 8
1.2.5　數據分析層 9
1.2.6　數據可視化層 9
1.3　企業級大數據技術實現方案 9
1.3.1　Google大數據技術棧 10
1.3.2　Hadoop與Spark開源大數據技術棧 12
1.4　大數據架構：Lambda Architecture 15
1.5　Hadoop與Spark版本選擇及安裝部署 16
1.5.1　Hadoop與Spark版本選擇 16
1.5.2　Hadoop與Spark安裝部署 17
1.6　小結 18
1.7　本章問題 18
第二部分　數據收集篇
第2章　關係型數據的收集 20
2.1　Sqoop概述 20
2.1.1　設計動機 20
2.1.2　Sqoop基本思想及特點 21
2.2　Sqoop基本架構 21
2.2.1　Sqoop1基本架構 22
2.2.2　Sqoop2基本架構 23
2.2.3　Sqoop1與Sqoop2對比 24
2.3　Sqoop使用方式 25
2.3.1　Sqoop1使用方式 25
2.3.2　Sqoop2使用方式 28
2.4　數據增量收集CDC 31
2.4.1　CDC動機與應用場景 31
2.4.2　CDC開源實現Canal 32
2.4.3　多機房數據同步係統Otter 33
2.5　小結 35
2.6　本章問題 35
第3章　非關係型數據的收集 36
3.1　概述 36
3.1.1　Flume設計動機 36
3.1.2　Flume基本思想及特點 37
3.2　Flume NG基本架構 38
3.2.1　Flume NG基本架構 38
3.2.2　Flume NG高級組件 41
3.3　Flume NG數據流拓撲構建方法 42
3.3.1　如何構建數據流拓撲 42
3.3.2　數據流拓撲實例剖析 46
3.4　小結 50
3.5　本章問題 50
第4章　分布式消息隊列Kafka 51
4.1　概述 51
4.1.1　Kafka設計動機 51
4.1.2　Kafka特點 53
4.2　Kafka設計架構 53
4.2.1　Kafka基本架構 54
4.2.2　Kafka各組件詳解 54
4.2.3　Kafka關鍵技術點 58
4.3　Kafka程序設計 60
4.3.1　Producer程序設計 61
4.3.2　Consumer程序設計 63
4.3.3　開源Producer與Consumer實現 65
4.4　Kafka典型應用場景 65
4.5　小結 67
4.6　本章問題 67
第三部分　數據存儲篇
第5章　數據序列化與文件存儲格式 70
5.1　數據序列化的意義 70
5.2　數據序列化方案 72
5.2.1　序列化框架Thrift 72
5.2.2　序列化框架Protobuf 74
5.2.3　序列化框架Avro 76
5.2.4　序列化框架對比 78
5.3　文件存儲格式剖析 79
5.3.1　行存儲與列存儲 79
5.3.2　行式存儲格式 80
5.3.3　列式存儲格式ORC、Parquet與CarbonData 82
5.4　小結 88
5.5　本章問題 89
第6章　分布式文件係統 90
6.1　背景 90
6.2　文件級彆和塊級彆的分布式文件係統 91
6.2.1　文件級彆的分布式係統 91
6.2.2　塊級彆的分布式係統 92
6.3　HDFS基本架構 93
6.4　HDFS關鍵技術 94
6.4.1　容錯性設計 95
6.4.2　副本放置策略 95
6.4.3　異構存儲介質 96
6.4.4　集中式緩存管理 97
6.5　HDFS訪問方式 98
6.5.1　HDFS shell 98
6.5.2　HDFS API 100
6.5.3　數據收集組件 101
6.5.4　計算引擎 102
6.6　小結 102
6.7　本章問題 103
第7章　分布式結構化存儲係統 104
7.1　背景 104
7.2　HBase數據模型 105
7.2.1　邏輯數據模型 105
7.2.2　物理數據存儲 107
7.3　HBase基本架構 108
7.3.1　HBase基本架構 108
7.3.2　HBase內部原理 110
7.4　HBase訪問方式 114
7.4.1　HBase shell 114
7.4.2　HBase API 116
7.4.3　數據收集組件 118
7.4.4　計算引擎 119
7.4.5　Apache Phoenix 119
7.5　HBase應用案例 120
7.5.1　社交關係數據存儲 120
7.5.2　時間序列數據庫OpenTSDB 122
7.6　分布式列式存儲係統Kudu 125
7.6.1　Kudu基本特點 125
7.6.2　Kudu數據模型與架構 126
7.6.3　HBase與Kudu對比 126
7.7　小結 127
7.8　本章問題 127
第四部分　分布式協調與資源管理篇
第8章　分布式協調服務ZooKeeper 130
8.1　分布式協調服務的存在意義 130
8.1.1　leader選舉 130
8.1.2　負載均衡 131
8.2　ZooKeeper數據模型 132
8.3　ZooKeeper基本架構 133
8.4　ZooKeeper程序設計 134
8.4.1　ZooKeeper API 135
8.4.2　Apache Curator 139
8.5　ZooKeeper應用案例 142
8.5.1　leader選舉 142
8.5.2　分布式隊列 143
8.5.3　負載均衡 143
8.6　小結 144
8.7　本章問題 145
第9章　資源管理與調度係統YARN 146
9.1　YARN産生背景 146
9.1.1　MRv1局限性 146
9.1.2　YARN設計動機 147
9.2　YARN設計思想 148
9.3　YARN的基本架構與原理 149
9.3.1　YARN基本架構 149
9.3.2　YARN高可用 152
9.3.3　YARN工作流程 153
9.4　YARN資源調度器 155
9.4.1　層級隊列管理機製 155
9.4.2　多租戶資源調度器産生背景 156
9.4.3　Capacity/Fair Scheduler 157
9.4.4　基於節點標簽的調度 160
9.4.5　資源搶占模型 163
9.5　YARN資源隔離 164
9.6　以YARN為核心的生態係統 165
9.7　資源管理係統Mesos 167
9.7.1　Mesos基本架構 167
9.7.2　Mesos資源分配策略 169
9.7.3　Mesos與YARN對比 170
9.8　資源管理係統架構演化 170
9.8.1　集中式架構 171
9.8.2　雙層調度架構 171
9.8.3　共享狀態架構 172
9.9　小結 173
9.10　本章問題 173
第五部分　大數據計算引擎篇
第10章　批處理引擎MapReduce 176
10.1　概述 176
10.1.1　MapReduce産生背景 176
10.1.2　MapReduce設計目標 177
10.2　MapReduce編程模型 178
10.2.1　編程思想 178
10.2.2　MapReduce編程組件 179
10.3　MapReduce程序設計 187
10.3.1　MapReduce程序設計基礎 187
10.3.2　MapReduce程序設計進階 194
10.3.3　Hadoop Streaming 198
10.4　MapReduce內部原理 204
10.4.1　MapReduce作業生命周期 204
10.4.2　MapTask與ReduceTask 206
10.4.3　MapReduce關鍵技術 209
10.5　MapReduce應用實例 211
10.6　小結 213
10.7　本章問題 213
第11章　DAG計算引擎Spark 215
11.1　概述 215
11.1.1　Spark産生背景 215
11.1.2　Spark主要特點 217
11.2　Spark編程模型 218
11.2.1　Spark核心概念 218
11.2.2　Spark程序基本框架 220
11.2.3　Spark編程接口 221
11.3　Spark運行模式 227
11.3.1　Standalone模式 229
11.3.2　YARN模式 230
11.3.3　Spark Shell 232
11.4　Spark程序設計實例 232
11.4.1　構建倒排索引 232
11.4.2　SQL GroupBy實現 234
11.4.3　應用程序提交 235
11.5　Spark內部原理 236
11.5.1　Spark作業生命周期 237
11.5.2　Spark Shuffle 241
11.6　DataFrame、Dataset與SQL 247
11.6.1　DataFrame/Dataset與SQL的關係 248
11.6.2　DataFrame/Dataset程序設計 249
11.6.3　DataFrame/Dataset程序實例 254
11.7　Spark生態係統 257
11.8　小結 257
11.9　本章問題 258
第12章　交互式計算引擎 261
12.1　概述 261
12.1.1　産生背景 261
12.1.2　交互式查詢引擎分類 262
12.1.3　常見的開源實現 263
12.2　ROLAP 263
12.2.1　Impala 263
12.2.2　Presto 267
12.2.3　Impala與Presto對比 271
12.3　MOLAP 271
12.3.1　Druid簡介 271
12.3.2　Kylin簡介 272
12.3.3　Druid與Kylin對比 274
12.4　小結 274
12.5　本章問題 274
第13章　流式實時計算引擎 276
13.1　概述 276
13.1.1　産生背景 276
13.1.2　常見的開源實現 278
13.2　Storm基礎與實戰 278
13.2.1　Storm概念與架構 279
13.2.2　Storm程序設計實例 282
13.2.3　Storm內部原理 285
13.3　Spark Streaming基礎與實戰 290
13.3.1　概念與架構 290
13.3.2　程序設計基礎 291
13.3.3　編程實例詳解 298
13.3.4　容錯性討論 300
13.4　流式計算引擎對比 303
13.5　小結 304
13.6　本章問題 304
第六部分　數據分析篇
第14章　數據分析語言HQL與SQL 308
14.1　概述 308
14.1.1　背景 308
14.1.2　SQL On Hadoop 309
14.2　Hive架構 309
14.2.1　Hive基本架構 310
14.2.2　Hive查詢引擎 311
14.3　Spark SQL架構 312
14.3.1　Spark SQL基本架構 312
14.3.2　Spark SQL與Hive對比 313
14.4　HQL 314
14.4.1　HQL基本語法 314
14.4.2　HQL應用實例 320
14.5　小結 322
14.6　本章問題 322
第15章　大數據統一編程模型 325
15.1　産生背景 325
15.2　Apache Beam基本構成 327
15.2.1　Beam SDK 327
15.2.2　Beam Runner 328
15.3　Apache Beam編程模型 329
15.3.1　構建Pipeline 330
15.3.2　創建PCollection 331
15.3.3　使用Transform 334
15.3.4　side input與side output 340
15.4　Apache Beam流式計算模型 341
15.4.1　window簡述 342
15.4.2　watermark、trigger與accumulation 344
15.5　Apache Beam編程實例 346
15.5.1　WordCount 346
15.5.2　移動遊戲用戶行為分析 348
15.6　小結 350
15.7　本章問題 350
第16章　大數據機器學習庫 351
16.1　機器學習庫簡介 351
16.2　MLLib 機器學習庫 354
16.2.1　Pipeline 355
16.2.2　特徵工程 357
16.2.3　機器學習算法 360
16.3　小結 361
16.4　本章問題 361
· · · · · · (收起)