前言
準 備 篇
第1章 環境準備 2
1.1 運行環境準備 2
1.1.1 安裝JDK 3
1.1.2 安裝Scala 3
1.1.3 安裝Spark 4
1.2 Spark初體驗 4
1.2.1 運行spark-shell 4
1.2.2 執行word count 5
1.2.3 剖析spark-shell 7
1.3 閱讀環境準備 11
1.4 Spark源碼編譯與調試 13
1.5 小結 17
第2章 Spark設計理念與基本架構 18
2.1 初識Spark 18
2.1.1 Hadoop MRv1的局限 18
2.1.2 Spark使用場景 20
2.1.3 Spark的特點 20
2.2 Spark基礎知識 20
2.3 Spark基本設計思想 22
2.3.1 Spark模塊設計 22
2.3.2 Spark模型設計 24
2.4 Spark基本架構 25
2.5 小結 26
核心設計篇
第3章 SparkContext的初始化 28
3.1 SparkContext概述 28
3.2 創建執行環境SparkEnv 30
3.2.1 安全管理器SecurityManager 31
3.2.2 基於Akka的分布式消息係統ActorSystem 31
3.2.3 map任務輸齣跟蹤器mapOutputTracker 32
3.2.4 實例化ShuffleManager 34
3.2.5 shuffle綫程內存管理器ShuffleMemoryManager 34
3.2.6 塊傳輸服務BlockTransferService 35
3.2.7 BlockManagerMaster介紹 35
3.2.8 創建塊管理器BlockManager 36
3.2.9 創建廣播管理器Broadcast-Manager 36
3.2.10 創建緩存管理器CacheManager 37
3.2.11 HTTP文件服務器HttpFile-Server 37
3.2.12 創建測量係統MetricsSystem 39
3.2.13 創建SparkEnv 40
3.3 創建metadataCleaner 41
3.4 SparkUI詳解 42
3.4.1 listenerBus詳解 43
3.4.2 構造JobProgressListener 46
3.4.3 SparkUI的創建與初始化 47
3.4.4 Spark UI的頁麵布局與展示 49
3.4.5 SparkUI的啓動 54
3.5 Hadoop相關配置及Executor環境變量 54
3.5.1 Hadoop相關配置信息 54
3.5.2 Executor環境變量 54
3.6 創建任務調度器TaskScheduler 55
3.6.1 創建TaskSchedulerImpl 55
3.6.2 TaskSchedulerImpl的初始化 57
3.7 創建和啓動DAGScheduler 57
3.8 TaskScheduler的啓動 60
3.8.1 創建LocalActor 60
3.8.2 ExecutorSource的創建與注冊 62
3.8.3 ExecutorActor的構建與注冊 64
3.8.4 Spark自身ClassLoader的創建 64
3.8.5 啓動Executor的心跳綫程 66
3.9 啓動測量係統MetricsSystem 69
3.9.1 注冊Sources 70
3.9.2 注冊Sinks 70
3.9.3 給Sinks增加Jetty的Servlet-ContextHandler 71
3.10 創建和啓動ExecutorAllocation-Manager 72
3.11 ContextCleaner的創建與啓動 73
3.12 Spark環境更新 74
3.13 創建DAGSchedulerSource和BlockManagerSource 76
3.14 將SparkContext標記為激活 77
3.15 小結 78
第4章 存儲體係 79
4.1 存儲體係概述 79
4.1.1 塊管理器BlockManager的實現 79
4.1.2 Spark存儲體係架構 81
4.2 shuffle服務與客戶端 83
4.2.1 Block的RPC服務 84
4.2.2 構造傳輸上下文Transpor-tContext 85
4.2.3 RPC客戶端工廠Transport-ClientFactory 86
4.2.4 Netty服務器TransportServer 87
4.2.5 獲取遠程shuffle文件 88
4.2.6 上傳shuffle文件 89
4.3 BlockManagerMaster對Block-Manager的管理 90
4.3.1 BlockManagerMasterActor 90
4.3.2 詢問Driver並獲取迴復方法 92
4.3.3 嚮BlockManagerMaster注冊BlockManagerId 93
4.4 磁盤塊管理器DiskBlockManager 94
4.4.1 DiskBlockManager的構造過程 94
4.4.2 獲取磁盤文件方法getFile 96
4.4.3 創建臨時Block方法create-TempShuffleBlock 96
4.5 磁盤存儲DiskStore 97
4.5.1 NIO讀取方法getBytes 97
4.5.2 NIO寫入方法putBytes 98
4.5.3 數組寫入方法putArray 98
4.5.4 Iterator寫入方法putIterator 98
4.6 內存存儲MemoryStore 99
4.6.1 數據存儲方法putBytes 101
4.6.2 Iterator寫入方法putIterator詳解 101
4.6.3 安全展開方法unrollSafely 102
4.6.4 確認空閑內存方法ensureFreeSpace 105
4.6.5 內存寫入方法putArray 107
4.6.6 嘗試寫入內存方法tryToPut 108
4.6.7 獲取內存數據方法getBytes 109
4.6.8 獲取數據方法getValues 110
4.7 Tachyon存儲TachyonStore 110
4.7.1 Tachyon簡介 111
4.7.2 TachyonStore的使用 112
4.7.3 寫入Tachyon內存的方法putIntoTachyonStore 113
4.7.4 獲取序列化數據方法getBytes 113
4.8 塊管理器BlockManager 114
4.8.1 移齣內存方法dropFrom-Memory 114
4.8.2 狀態報告方法reportBlockStatus 116
4.8.3 單對象塊寫入方法putSingle 117
4.8.4 序列化字節塊寫入方法putBytes 118
4.8.5 數據寫入方法doPut 118
4.8.6 數據塊備份方法replicate 121
4.8.7 創建DiskBlockObjectWriter的方法getDiskWriter 125
4.8.8 獲取本地Block數據方法getBlockData 125
4.8.9 獲取本地shuffle數據方法doGetLocal 126
4.8.10 獲取遠程Block數據方法doGetRemote 127
4.8.11 獲取Block數據方法get 128
4.8.12 數據流序列化方法dataSerializeStream 129
4.9 metadataCleaner和broadcastCleaner 129
4.10 緩存管理器CacheManager 130
4.11 壓縮算法 133
4.12 磁盤寫入實現DiskBlockObjectWriter 133
4.13 塊索引shuffle管理器IndexShuffleBlockManager 135
4.14 shuffle內存管理器ShuffleMemoryManager 137
4.15 小結 138
第5章 任務提交與執行 139
5.1 任務概述 139
5.2 廣播Hadoop的配置信息 142
5.3 RDD轉換及DAG構建 144
5.3.1 為什麼需要RDD 144
5.3.2 RDD實現分析 146
5.4 任務提交 152
5.4.1 任務提交的準備 152
5.4.2 finalStage的創建與Stage的劃分 157
5.4.3 創建Job 163
5.4.4 提交Stage 164
5.4.5 提交Task 165
5.5 執行任務 176
5.5.1 狀態更新 176
5.5.2 任務還原 177
5.5.3 任務運行 178
5.6 任務執行後續處理 179
5.6.1 計量統計與執行結果序列化 179
5.6.2 內存迴收 180
5.6.3 執行結果處理 181
5.7 小結 187
第6章 計算引擎 188
6.1 迭代計算 188
6.2 什麼是shuffle 192
6.3 map端計算結果緩存處理 194
6.3.1 map端計算結果緩存聚閤 195
6.3.2 map端計算結果簡單緩存 200
6.3.3 容量限製 201
6.4 map端計算結果持久化 204
6.4.1 溢齣分區文件 205
6.4.2排序與分區分組 207
6.4.3 分區索引文件 209
6.5 reduce端讀取中間計算結果 210
6.5.1 獲取map任務狀態 213
6.5.2 劃分本地與遠程Block 215
6.5.3 獲取遠程Block 217
6.5.4 獲取本地Block 218
6.6 reduce端計算 219
6.6.1 如何同時處理多個map任務的中間結果 219
6.6.2 reduce端在緩存中對中間計算結果執行聚閤和排序 220
6.7 map端與reduce端組閤分析 221
6.7.1 在map端溢齣分區文件，在reduce端閤並組閤 221
6.7.2 在map端簡單緩存、排序分組，在reduce端閤並組閤 222
6.7.3 在map端緩存中聚閤、排序分組，在reduce端組閤 222
6.8 小結 223
第7章 部署模式 224
7.1 local部署模式 225
7.2 local-cluster部署模式 225
7.2.1 LocalSparkCluster的啓動 226
7.2.2 CoarseGrainedSchedulerBackend的啓動 236
7.2.3 啓動AppClient 237
7.2.4 資源調度 242
7.2.5 local-cluster模式的任務執行 253
7.3 Standalone部署模式 255
7.3.1 啓動Standalone模式 255
7.3.2 啓動Master分析 257
7.3.3 啓動Worker分析 259
7.3.4 啓動Driver Application分析 261
7.3.5 Standalone模式的任務執行 263
7.3.6 資源迴收 263
7.4 容錯機製 266
7.4.1 Executor異常退齣 266
7.4.2 Worker異常退齣 268
7.4.3 Master異常退齣 269
7.5 其他部署方案 276
7.5.1 YARN 277
7.5.2 Mesos 280
7.6 小結 282
擴 展 篇
第8章 Spark SQL 284
8.1 Spark SQL總體設計 284
8.1.1 傳統關係型數據庫SQL運行原理 285
8.1.2 Spark SQL運行架構 286
8.2 字典錶Catalog 288
8.3 Tree和TreeNode 289
8.4 詞法解析器Parser的設計與實現 293
8.4.1 SQL語句解析的入口 294
8.4.2 建錶語句解析器DDLParser 295
8.4.3 SQL語句解析器SqlParser 296
8.4.4 Spark代理解析器SparkSQLParser 299
8.5 Rule和RuleExecutor 300
8.6 Analyzer與Optimizer的設計與實現 302
8.6.1 語法分析器Analyzer 304
8.6.2 優化器Optimizer 305
8.7 生成物理執行計劃 306
8.8 執行物理執行計劃 308
8.9 Hive 311
8.9.1 Hive SQL語法解析器 311
8.9.2 Hive SQL元數據分析 313
8.9.3 Hive SQL物理執行計劃 314
8.10 應用舉例：JavaSparkSQL 314
8.11 小結 320
第9章 流式計算 321
9.1 Spark Streaming總體設計 321
9.2 StreamingContext初始化 323
9.3 輸入流接收器規範Receiver 324
9.4 數據流抽象DStream 325
9.4.1 Dstream的離散化 326
9.4.2 數據源輸入流InputDStream 327
9.4.3 Dstream轉換及構建DStream Graph 329
9.5 流式計算執行過程分析 330
9.5.1 流式計算例子CustomReceiver 331
9.5.2 Spark Streaming執行環境構建 335
9.5.3 任務生成過程 347
9.6 窗口操作 355
9.7 應用舉例 357
9.7.1 安裝mosquitto 358
9.7.2 啓動mosquitto 358
9.7.3 MQTTWordCount 359
9.8 小結 361
第10章 圖計算 362
10.1 Spark GraphX總體設計 362
10.1.1 圖計算模型 363
10.1.2 屬性圖 365
10.1.3 GraphX的類繼承體係 367
10.2 圖操作 368
10.2.1 屬性操作 368
10.2.2 結構操作 368
10.2.3 連接操作 369
10.2.4 聚閤操作 370
10.3 Pregel API 371
10.3.1 Dijkstra算法 373
10.3.2 Dijkstra的實現 376
10.4 Graph的構建 377
10.4.1 從邊的列錶加載Graph 377
10.4.2 在Graph中創建圖的方法 377
10.5 頂點集閤抽象VertexRDD 378
10.6 邊集閤抽象EdgeRDD 379
10.7 圖分割 380
10.8 常用算法 382
10.8.1 網頁排名 382
10.8.2 Connected Components的應用 386
10.8.3 三角關係統計 388
10.9 應用舉例 390
10.10 小結 391
第11章 機器學習 392
11.1機器學習概論 392
11.2 Spark MLlib總體設計 394
11.3 數據類型 394
11.3.1 局部嚮量 394
11.3.2標記點 395
11.3.3局部矩陣 396
11.3.4分布式矩陣 396
11.4基礎統計 398
11.4.1摘要統計 398
11.4.2相關統計 399
11.4.3分層抽樣 401
11.4.4假設檢驗 401
11.4.5隨機數生成 402
11.5分類和迴歸 405
11.5.1數學公式 405
11.5.2綫性迴歸 407
11.5.3分類 407
11.5.4迴歸 410
11.6決策樹 411
11.6.1基本算法 411
11.6.2使用例子 412
11.7隨機森林 413
11.7.1基本算法 414
11.7.2使用例子 414
11.8梯度提升決策樹 415
11.8.1基本算法 415
11.8.2使用例子 416
11.9樸素貝葉斯 416
11.9.1算法原理 416
11.9.2使用例子 418
11.10保序迴歸 418
11.10.1算法原理 418
11.10.2使用例子 419
11.11協同過濾 419
11.12聚類 420
11.12.1K-means 420
11.12.2高斯混閤 422
11.12.3快速迭代聚類 422
11.12.4latent Dirichlet allocation 422
11.12.5流式K-means 423
11.13維數減縮 424
11.13.1奇異值分解 424
11.13.2主成分分析 425
11.14特徵提取與轉型 425
11.14.1術語頻率反轉 425
11.14.2單詞嚮量轉換 426
11.14.3標準尺度 427
11.14.4正規化尺度 428
11.14.5卡方特徵選擇器 428
11.14.6Hadamard積 429
11.15頻繁模式挖掘 429
11.16預言模型標記語言 430
11.17管道 431
11.17.1管道工作原理 432
11.17.2管道API介紹 433
11.17.3交叉驗證 435
11.18小結 436
附錄A Utils 437
附錄B Akka 446
附錄C Jetty 450
附錄D Metrics 453
附錄E Hadoop word count 456
附錄F CommandUtils 458
附錄G Netty 461
附錄H 源碼編譯錯誤 465
· · · · · · (
收起)
