具體描述
海量數據的産生和大數據的高價值利用，讓數據爬取變得日益重要。本書為讀者介紹瞭如何使用Python編寫網絡爬蟲批量采集互聯網數據，如何處理與保存采集到的信息，以及如何從眾多紛亂的數據中提取到真正有用的信息。本書末尾介紹瞭幾種常用的數據可視化工具。讓讀者能夠從頭到尾完整地完成網絡數據的采集與分析項目。本書理論與實例並重，既能夠幫助數據從業者快速提升工作效率，又可以幫助大數據愛好者用網絡爬蟲方便生活。
深度學習實戰指南：從理論到應用的全景解析 內容提要： 本書是一部麵嚮希望係統掌握深度學習核心理論、算法實現及工程實踐的專業人士和高級學習者的技術專著。它並非側重於特定領域的數據采集或網絡技術，而是專注於構建、訓練和優化復雜神經網絡模型的全過程。全書結構嚴謹，內容涵蓋瞭從基礎的綫性代數和概率論在深度學習中的應用，到前沿的Transformer架構和生成對抗網絡（GANs）的深度剖析。我們摒棄瞭對基礎編程語言特性的冗餘介紹，直接切入高效實現和模型優化的核心技術棧。 第一部分：理論基石與數學核心 本部分旨在夯實讀者在理解現代深度學習模型所需的前置數學知識，避免陷入“調包俠”的窘境。我們首先迴顧瞭高維空間中的綫性代數運算，重點闡述瞭張量（Tensor）的性質、分解方法（如奇異值分解SVD在降維中的應用），以及它們如何作為神經網絡計算的基本載體。 概率論與統計部分，我們深入探討瞭概率分布的特性，包括高斯分布、伯努利分布及其在損失函數設計中的作用。貝葉斯定理和最大似然估計（MLE）、最大後驗概率估計（MAP）被詳細解析，這些是理解模型正則化和不確定性量化的關鍵。 核心算法解析： 優化算法的深度剖析： 本章超越瞭基礎的隨機梯度下降（SGD），詳細介紹瞭動量法（Momentum）、自適應學習率方法如AdaGrad、RMSProp和Adam的內部工作機製。我們分析瞭它們的收斂速度、對內存的需求以及在非凸優化問題中的錶現差異。尤其對Nesterov動量（NAG）的超前預測特性進行瞭數學推導和性能對比。 反嚮傳播的機製與實現： 不僅僅是鏈式法則的應用，我們重點討論瞭自動微分（Automatic Differentiation）的實現原理，包括前嚮模式和反嚮模式（Reverse Mode），並對比瞭它們在計算復雜性上的差異，這是理解現代深度學習框架底層運作邏輯的關鍵。 第二部分：經典網絡架構的精細構建 本部分聚焦於構建實用且高效的深度神經網絡所需掌握的結構設計與工程技巧。 捲積神經網絡（CNN）的深化研究： 我們詳細介紹瞭LeNet、AlexNet、VGG、ResNet到DenseNet等裏程碑式架構的演變曆程。對空洞捲積（Dilated Convolution）、分組捲積（Grouped Convolution）和可分離捲積（Depthwise Separable Convolution）的應用場景和計算效率提升進行瞭量化分析。重點講解瞭殘差連接（Residual Connection）如何解決梯度消失問題，並探討瞭批歸一化（Batch Normalization, BN）在穩定訓練中的作用及在不同場景（如RNNs或小批量數據）下的局限性與替代方案（如Layer Normalization, Instance Normalization）。 循環神經網絡（RNN）及其高級變體： 本章詳盡解析瞭長短期記憶網絡（LSTM）和門控循環單元（GRU）的內部結構和遺忘、輸入、輸齣門的數學模型。我們著重分析瞭梯度在長序列傳播中的動態變化，並介紹瞭梯度裁剪（Gradient Clipping）等穩定RNN訓練的技術。對於序列到序列（Seq2Seq）模型，我們深入講解瞭編碼器-解碼器的設計範例。 第三部分：前沿模型與高級應用 本部分是全書的前沿陣地，探討瞭當前驅動AI領域進步的最先進模型和技術範式。 注意力機製與Transformer架構： 這是理解現代自然語言處理（NLP）和視覺任務（Vision Transformers, ViT）的基石。我們不僅展示瞭自注意力（Self-Attention）的計算過程，還深入剖析瞭多頭注意力（Multi-Head Attention）的並行化優勢。對Transformer中的位置編碼（Positional Encoding）的必要性及其不同實現方式（如絕對編碼、鏇轉編碼RoPE）進行瞭細緻比較。編碼器-解碼器堆棧的設計、殘差連接和層歸一化在Transformer中的精確位置和作用被清晰闡述。 生成模型的高級技術： 變分自編碼器（VAE）： 詳細介紹瞭解碼器如何通過重參數化技巧（Reparameterization Trick）實現潛在空間（Latent Space）的采樣，以及KL散度項在保證潛在空間結構完整性中的核心地位。 生成對抗網絡（GANs）： 本章不僅限於基礎的JS散度最小化，而是聚焦於提高GANs穩定性的工程實踐。深度解析瞭WGAN（Wasserstein GAN）及其梯度懲罰（WGAN-GP）如何解決模式崩潰（Mode Collapse）問題。此外，對條件GAN（cGAN）和StyleGAN的層次化生成策略進行瞭技術剖析。 第四部分：工程實踐與性能優化 本部分將理論知識轉化為可部署的高性能係統。 模型部署與量化： 我們探討瞭模型壓縮的必要性，並詳細介紹瞭參數剪枝（Pruning）、權重共享和知識蒸餾（Knowledge Distillation）的技術細節。關於模型量化，本書深入講解瞭從FP32到INT8的映射策略，包括對稱/非對稱量化、訓練後量化（PTQ）和量化感知訓練（QAT），並討論瞭不同硬件加速器對量化精度的敏感性。 分布式訓練策略： 為瞭處理超大規模數據集和模型，本書介紹瞭數據並行（Data Parallelism）和模型並行（Model Parallelism）的實現細節。重點討論瞭參數服務器架構（Parameter Server）和All-Reduce通信範式（如使用Horovod框架），並分析瞭同步SGD與異步SGD在收斂速度和通信效率上的權衡。 性能調優與調試： 涵蓋瞭內存泄漏排查、計算圖優化、選擇閤適的硬件後端（CUDA/cuDNN配置）以及利用性能分析工具（如Nsight Systems）進行瓶頸識彆。本書提供瞭大量的實戰案例，指導讀者如何診斷訓練過程中的收斂緩慢、過擬閤或欠擬閤問題，並提供針對性的架構調整建議。 總結： 本書旨在成為深度學習研究人員和資深工程師的案頭參考手冊，它聚焦於“如何構建和優化”尖端模型，是構建下一代智能係統的理論指導和技術藍圖。
作者簡介
郭卡，遼寜師範大學碩士畢業，安徽外國語學院計算機教師，多年從事一綫計算機教學及計算機等級培訓工作，擅長計算機網絡技術和教育學類數據統計分析技術，曾在中文核心期刊發錶多篇技術論文。
戴亮，中南大學碩士畢業，數據挖掘從業者；在網絡爬蟲、數據分析、機器學習等領域有豐富的實戰經驗，在簡書中貢獻瞭許多高質量的技術文章，深受讀者好評。
目錄資訊
第1章 最佳拍檔：網絡爬蟲與Python語言
1.1 什麼是網絡爬蟲 1
1.1.1 網絡爬蟲的定義 2
1.1.2 網絡爬蟲的工作流程 2
1.1.3 網絡爬蟲的分類 3
1.1.4 為什麼選擇用Python編寫網絡爬蟲 4
1.1.5 編寫爬蟲的注意事項 4
1.2 Python環境配置 5
1.2.1 Python的安裝 5
1.2.2 Python第三方庫的安裝 6
【示例1-1】使用包管理器安裝科學計算庫numpy 6
【示例1-2】源代碼方式安裝xlrd庫（使用setup.py文件） 7
【示例1-3】源代碼方式安裝xlrd庫（使用whl文件） 8
1.2.3 Python開發工具的選擇 8
【示例1-4】將文本編輯器配置成Python開發工具（以Notepad 為例） 12
1.3 Python基本語法 13
1.3.1 Python書寫規則 13
1.3.2 Python基本數據類型 18
【示例1-5】以列錶a = ['a','a','b','c','d','d','e']為例講解List的基本操作 21
【示例1-6】以列錶a = [1,2,3,4,5,6,7,8]為例講解數據型列錶的屬性分析 23
【示例1-7】以字典a為例，講解字典的基本操作 25
1.3.3 Python獨有數據生成方式：推導式 29
1.3.4 函數 30
【示例1-8】局部變量與全局變量重名的運行結果與解決方案 31
1.3.5 條件與循環 34
1.3.6 類與對象 35
【示例1-9】請輸齣學生信息中某學生的班級、姓名和總分數 35
1.3.7 Python 2代碼轉為Python 3代碼 36
【示例1-10】以文件test.py為例，介紹Python 2代碼到Python 3代碼的轉化 37
第2章 應知應會：網絡爬蟲基本知識
2.1 網頁的構成 38
2.1.1 HTML基本知識 39
2.1.2 網頁中各元素的排布 46
【示例2-1】以新浪博客文本為例，學習各類元素的排布規則 46
2.2 正則錶達式 48
2.2.1 正則錶達式簡介 48
2.2.2 Python語言中的正則錶達式 49
【示例2-2】正則錶達式應用中，當匹配次數達到10萬時，預先編譯對正則錶達式性能的提升 51
2.2.3 綜閤實例：正則錶達式的實際應用——在二手房網站中提取有用信息 52
2.3 漢字編碼問題 54
2.3.1 常見編碼簡介 54
2.3.2 常用編程環境的默認編碼 55
2.3.3 網頁編碼 56
2.3.4 編碼轉換 56
2.4 網絡爬蟲的行為準則 57
2.4.1 遵循Robots協議 57
2.4.2 網絡爬蟲的閤法性 59
第3章 靜態網頁爬取
3.1 Python常用網絡庫 61
3.1.1 urllib庫 62
【示例3-1】從眾多代理IP中選取可用的IP 63
【示例3-2】百度搜索“Python”url演示Parse模塊應用 66
3.1.2 綜閤實例：批量獲取高清壁紙 68
3.1.3 requests庫 71
【示例3-3】用requests實現豆瓣網站模擬登錄 72
3.1.4 綜閤實例：爬取曆史天氣數據預測天氣變化 74
3.2 網頁解析工具 77
3.2.1 更易上手：BeautifulSoup 77
【示例3-4】解析HTML文檔（以豆瓣讀書《解憂雜貨店》為例） 78
3.2.2 更快速度：lxml 81
3.2.3 BeautifulSoup與lxml對比 82
【示例3-5】爬取豆瓣讀書中近5年齣版的評分7分以上的漫畫 82
【示例3-6】BeautifulSoup和lxml解析同樣網頁速度測試（基於網易新聞首頁） 85
3.2.4 綜閤實例：在前程無憂中搜索並抓取不同編程語言崗位的平均收入 85
第4章 動態網頁爬取
4.1 AJAX技術 89
4.1.1 獲取AJAX請求 90
4.1.2 綜閤實例：抓取簡書百萬用戶個人主頁 91
4.2 Selenium操作瀏覽器 97
4.2.1 驅動常規瀏覽器 97
4.2.2 驅動無界麵瀏覽器 100
4.2.3 綜閤實例：模擬登錄新浪微博並下載短視頻 101
4.3 爬取移動端數據 103
4.3.1 Fiddler工具配置 103
4.3.2 綜閤實例：Fiddle實際應用——爬取大角蟲漫畫信息 105
第5章 統一架構與規範：網絡爬蟲框架
5.1 最流行的網絡爬蟲框架：Scrapy111
5.1.1 安裝須知與錯誤解決方案 111
5.1.2 Scrapy的組成與功能 112
5.2 綜閤實例：使用Scrapy構建觀影指南 118
5.2.1 網絡爬蟲準備工作 119
5.2.2 編寫Spider 121
5.2.3 處理Item 123
5.2.4 運行網絡爬蟲 124
5.2.5 數據分析 124
5.3 更易上手的網絡爬蟲框架：Pyspider126
5.3.1 創建Pyspider項目 127
【示例5-1】利用Pyspider創建抓取煎蛋網項目並測試代碼 127
5.3.2 運行Pyspider項目 129
第6章 反爬蟲應對策略
6.1 設置Headers信息 132
6.1.1 User-Agent 133
6.1.2 Cookie 136
6.2 建立IP代理池 138
6.2.1 建立IP代理池的思路 138
6.2.2 建立IP代理池的步驟 138
6.3 驗證碼識彆 140
6.3.1 識彆簡單的驗證碼 141
【示例6-1】通過pytesseract庫識彆8個簡單的驗證碼，並逐步提升準確率 141
6.3.2 識彆漢字驗證碼 146
6.3.3 人工識彆復雜驗證碼 146
6.3.4 利用Cookie繞過驗證碼 149
第7章 提升網絡爬蟲效率
7.1 網絡爬蟲策略 152
7.1.1 廣度優先策略 153
7.1.2 深度優先策略 153
7.1.3 按網頁權重決定爬取優先級 154
7.1.4 綜閤實例：深度優先和廣度優先策略效率對比
（抓取慕課網實戰課程地址） 154
7.2 提升網絡爬蟲的速度 158
7.2.1 多綫程 159
【示例7-1】使用4個綫程同步抓取慕課網實戰課程地址（基於深度優先策略） 159
7.2.2 多進程 161
7.2.3 分布式爬取 162
7.2.4 綜閤實例：利用現有知識搭建分布式爬蟲（爬取百度貼吧中的帖子） 162
第8章 更專業的爬取數據存儲與處理：數據庫
8.1 受歡迎的關係型數據庫：MySQL170
8.1.1 MySQL簡介 170
8.1.2 MySQL環境配置 171
8.1.3 MySQL的查詢語法 174
【示例8-1】使用MySQL查詢語句從數據錶Countries中選取麵積大於10000km2的歐洲國傢 177
8.1.4 使用pymysql連接MySQL數據庫 178
8.1.5 導入與導齣數據 179
8.2 應對海量非結構化數據：MongoDB數據庫 180
8.2.1 MongoDB 簡介 180
8.2.2 MongoDB環境配置 182
8.2.3 MongoDB基本語法 186
8.2.4 使用PyMongo連接MongoDB 188
8.2.5 導入/導齣JSON文件 189
第9章 Python文件讀取
9.1 Python文本文件讀寫 190
9.2 數據文件CSV 192
9.3 數據交換格式JSON193
9.3.1 JSON模塊的使用 194
【示例9-1】請用JSON模塊將data變量（包含列錶、數字和字典的數組）轉換成字符串並還原 194
9.3.2 JSON模塊的數據轉換 195
9.4 Excel讀寫模塊：xlrd 195
9.4.1 讀取Excel文件 196
9.4.2 寫入Excel單元格 197
9.5 PowerPoint文件讀寫模塊：pptx 197
9.5.1 讀取pptx 197
9.5.2 寫入pptx 198
9.6 重要的數據處理庫：Pandas庫 199
9.6.1 使用pandas庫處理CSV文件 200
9.6.2 使用pandas庫處理JSON文件 200
9.6.3 使用pandas庫處理HTML文件 202
【示例9-2】用read_html()將某二手房網站錶格中的數據提取齣來 203
9.6.4 使用pandas庫處理SQL文件 203
9.7 調用Office軟件擴展包：win32com204
9.7.1 讀取Excel文件 204
9.7.2 讀取Word文件 205
9.7.3 讀取PowerPoint文件 205
9.8 讀取PDF文件 206
9.8.1 讀取英文PDF文檔 206
9.8.2 讀取中文PDF文檔 208
9.8.3 讀取掃描型PDF文檔 210
9.9 綜閤實例：自動將網絡文章轉化為PPT文檔 211
第10章 通過API獲取數據
10.1 免費財經API——TuShare 214
10.1.1 獲取股票交易數據 215
【示例10-1】獲取某股票2017年8月份的周K綫數據 215
10.1.2 獲取宏觀經濟數據 217
10.1.3 獲取電影票房數據 219
10.2 新浪微博API的調用 220
10.2.1 創建應用 220
10.2.2 使用API 222
10.3 調用百度地圖API 225
10.3.1 獲取城市經緯度 226
【示例10-2】使用百度地圖API獲取南京市的經緯度信息 226
10.3.2 定位網絡IP 226
【示例10-3】使用百度API定位IP地址（223.112.112.144） 226
10.3.3 獲取全景靜態圖 227
10.4 調用淘寶API 228
第11章 網絡爬蟲工具
11.1 使用Excel采集網頁數據 231
11.1.1 抓取網頁中的錶格 232
11.1.2 抓取非錶格的結構化數據 233
11.2 使用Web Scraper插件 237
11.2.1 安裝Web Scraper 237
11.2.2 Web Scraper的使用 238
【示例11-1】使用Web Scraper爬取當當網小說書目 238
11.3 商業化爬取工具 240
11.3.1 自定義采集 241
【示例11-2】利用網絡爬蟲軟件八爪魚自定義采集當當網圖書信息 241
11.3.2 網站簡易采集 245
【示例11-3】利用網絡爬蟲軟件八爪魚的網絡簡易采集方式抓取房天下網中的閤肥新房房價數據 245
第12章 數據分析工具：科學計算庫
12.1 單一類型數據高效處理：Numpy庫 248
12.1.1 ndarray數組 248
【示例12-1】對一維ndarray數組a進行讀取、修改和切片操作 249
【示例12-2】對多維ndarray數組b進行讀取、修改和切片操作 250
【示例12-3】對多維ndarray數組n進行矩陣運算（拼接、分解、轉置、行列式、
求逆和點乘） 252
12.1.2 Numpy常用函數 253
【示例12-4】對多維ndarray數組a進行統計操作 253
【示例12-5】對一維ndarray數組a進行數據處理操作（去重、直方圖統計、相關
係數、分段、多項式擬閤） 256
12.1.3 Numpy性能優化 257
12.2 復雜數據全麵處理：Pandas庫 258
12.2.1 Pandas庫中的4種基礎數據結構 258
12.2.2 Pandas使用技巧 264
【示例12-6】對比普通for循環遍曆與iterrows()遍曆方法的速度差異 264
12.3 Python機器學習庫：Scikit-learn 268
【示例12-7】以鳶尾花數據為例，使用Sklearn進行監督學習的基本建模過程（決策樹模型） 269
第13章 掌握繪圖軟件：將數據可視化
13.1 應用廣泛的數據可視化：Excel繪圖 271
13.1.1 繪製（對比）柱形圖 272
13.1.2 繪製餅圖並添加標注 273
13.1.3 其他圖形 275
13.1.4 Excel頻率分布直方圖 276
【示例13-1】利用Excel繪製全國各省市城鎮人員平均工資頻率分布直方圖 276
13.2 適閤處理海量數據：Tableau繪圖 278
13.2.1 基本操作：導入數據 278
13.2.2 繪製（多重）柱狀對比圖 279
13.2.3 智能顯示：圖形轉換 281
13.2.4 繪製頻率分布直方圖 281
【示例13-2】利用Tableau繪製2015年我國城鎮就業人員平均工資頻率分布直方圖 281
13.3 完善的二維繪圖庫：Matplotlib/Seaborn 283
13.3.1 使用Matplotlib繪製函數圖錶 283
13.3.2 使用Matplotlib繪製統計圖錶 285
13.4 優化：Seaborn的使用 289
13.5 綜閤實例：利用Matplotlib構建閤肥美食地圖 293
13.5.1 繪製區域地圖 293
13.5.2 利用百度地圖Web服務API獲取美食地址 294
13.5.3 數據分析 298
13.5.4 繪製熱力圖完善美食地圖展示 300
· · · · · · (收起)
1.1 什麼是網絡爬蟲 1
1.1.1 網絡爬蟲的定義 2
1.1.2 網絡爬蟲的工作流程 2
1.1.3 網絡爬蟲的分類 3
1.1.4 為什麼選擇用Python編寫網絡爬蟲 4
1.1.5 編寫爬蟲的注意事項 4
1.2 Python環境配置 5
1.2.1 Python的安裝 5
1.2.2 Python第三方庫的安裝 6
【示例1-1】使用包管理器安裝科學計算庫numpy 6
【示例1-2】源代碼方式安裝xlrd庫（使用setup.py文件） 7
【示例1-3】源代碼方式安裝xlrd庫（使用whl文件） 8
1.2.3 Python開發工具的選擇 8
【示例1-4】將文本編輯器配置成Python開發工具（以Notepad 為例） 12
1.3 Python基本語法 13
1.3.1 Python書寫規則 13
1.3.2 Python基本數據類型 18
【示例1-5】以列錶a = ['a','a','b','c','d','d','e']為例講解List的基本操作 21
【示例1-6】以列錶a = [1,2,3,4,5,6,7,8]為例講解數據型列錶的屬性分析 23
【示例1-7】以字典a為例，講解字典的基本操作 25
1.3.3 Python獨有數據生成方式：推導式 29
1.3.4 函數 30
【示例1-8】局部變量與全局變量重名的運行結果與解決方案 31
1.3.5 條件與循環 34
1.3.6 類與對象 35
【示例1-9】請輸齣學生信息中某學生的班級、姓名和總分數 35
1.3.7 Python 2代碼轉為Python 3代碼 36
【示例1-10】以文件test.py為例，介紹Python 2代碼到Python 3代碼的轉化 37
第2章 應知應會：網絡爬蟲基本知識
2.1 網頁的構成 38
2.1.1 HTML基本知識 39
2.1.2 網頁中各元素的排布 46
【示例2-1】以新浪博客文本為例，學習各類元素的排布規則 46
2.2 正則錶達式 48
2.2.1 正則錶達式簡介 48
2.2.2 Python語言中的正則錶達式 49
【示例2-2】正則錶達式應用中，當匹配次數達到10萬時，預先編譯對正則錶達式性能的提升 51
2.2.3 綜閤實例：正則錶達式的實際應用——在二手房網站中提取有用信息 52
2.3 漢字編碼問題 54
2.3.1 常見編碼簡介 54
2.3.2 常用編程環境的默認編碼 55
2.3.3 網頁編碼 56
2.3.4 編碼轉換 56
2.4 網絡爬蟲的行為準則 57
2.4.1 遵循Robots協議 57
2.4.2 網絡爬蟲的閤法性 59
第3章 靜態網頁爬取
3.1 Python常用網絡庫 61
3.1.1 urllib庫 62
【示例3-1】從眾多代理IP中選取可用的IP 63
【示例3-2】百度搜索“Python”url演示Parse模塊應用 66
3.1.2 綜閤實例：批量獲取高清壁紙 68
3.1.3 requests庫 71
【示例3-3】用requests實現豆瓣網站模擬登錄 72
3.1.4 綜閤實例：爬取曆史天氣數據預測天氣變化 74
3.2 網頁解析工具 77
3.2.1 更易上手：BeautifulSoup 77
【示例3-4】解析HTML文檔（以豆瓣讀書《解憂雜貨店》為例） 78
3.2.2 更快速度：lxml 81
3.2.3 BeautifulSoup與lxml對比 82
【示例3-5】爬取豆瓣讀書中近5年齣版的評分7分以上的漫畫 82
【示例3-6】BeautifulSoup和lxml解析同樣網頁速度測試（基於網易新聞首頁） 85
3.2.4 綜閤實例：在前程無憂中搜索並抓取不同編程語言崗位的平均收入 85
第4章 動態網頁爬取
4.1 AJAX技術 89
4.1.1 獲取AJAX請求 90
4.1.2 綜閤實例：抓取簡書百萬用戶個人主頁 91
4.2 Selenium操作瀏覽器 97
4.2.1 驅動常規瀏覽器 97
4.2.2 驅動無界麵瀏覽器 100
4.2.3 綜閤實例：模擬登錄新浪微博並下載短視頻 101
4.3 爬取移動端數據 103
4.3.1 Fiddler工具配置 103
4.3.2 綜閤實例：Fiddle實際應用——爬取大角蟲漫畫信息 105
第5章 統一架構與規範：網絡爬蟲框架
5.1 最流行的網絡爬蟲框架：Scrapy111
5.1.1 安裝須知與錯誤解決方案 111
5.1.2 Scrapy的組成與功能 112
5.2 綜閤實例：使用Scrapy構建觀影指南 118
5.2.1 網絡爬蟲準備工作 119
5.2.2 編寫Spider 121
5.2.3 處理Item 123
5.2.4 運行網絡爬蟲 124
5.2.5 數據分析 124
5.3 更易上手的網絡爬蟲框架：Pyspider126
5.3.1 創建Pyspider項目 127
【示例5-1】利用Pyspider創建抓取煎蛋網項目並測試代碼 127
5.3.2 運行Pyspider項目 129
第6章 反爬蟲應對策略
6.1 設置Headers信息 132
6.1.1 User-Agent 133
6.1.2 Cookie 136
6.2 建立IP代理池 138
6.2.1 建立IP代理池的思路 138
6.2.2 建立IP代理池的步驟 138
6.3 驗證碼識彆 140
6.3.1 識彆簡單的驗證碼 141
【示例6-1】通過pytesseract庫識彆8個簡單的驗證碼，並逐步提升準確率 141
6.3.2 識彆漢字驗證碼 146
6.3.3 人工識彆復雜驗證碼 146
6.3.4 利用Cookie繞過驗證碼 149
第7章 提升網絡爬蟲效率
7.1 網絡爬蟲策略 152
7.1.1 廣度優先策略 153
7.1.2 深度優先策略 153
7.1.3 按網頁權重決定爬取優先級 154
7.1.4 綜閤實例：深度優先和廣度優先策略效率對比
（抓取慕課網實戰課程地址） 154
7.2 提升網絡爬蟲的速度 158
7.2.1 多綫程 159
【示例7-1】使用4個綫程同步抓取慕課網實戰課程地址（基於深度優先策略） 159
7.2.2 多進程 161
7.2.3 分布式爬取 162
7.2.4 綜閤實例：利用現有知識搭建分布式爬蟲（爬取百度貼吧中的帖子） 162
第8章 更專業的爬取數據存儲與處理：數據庫
8.1 受歡迎的關係型數據庫：MySQL170
8.1.1 MySQL簡介 170
8.1.2 MySQL環境配置 171
8.1.3 MySQL的查詢語法 174
【示例8-1】使用MySQL查詢語句從數據錶Countries中選取麵積大於10000km2的歐洲國傢 177
8.1.4 使用pymysql連接MySQL數據庫 178
8.1.5 導入與導齣數據 179
8.2 應對海量非結構化數據：MongoDB數據庫 180
8.2.1 MongoDB 簡介 180
8.2.2 MongoDB環境配置 182
8.2.3 MongoDB基本語法 186
8.2.4 使用PyMongo連接MongoDB 188
8.2.5 導入/導齣JSON文件 189
第9章 Python文件讀取
9.1 Python文本文件讀寫 190
9.2 數據文件CSV 192
9.3 數據交換格式JSON193
9.3.1 JSON模塊的使用 194
【示例9-1】請用JSON模塊將data變量（包含列錶、數字和字典的數組）轉換成字符串並還原 194
9.3.2 JSON模塊的數據轉換 195
9.4 Excel讀寫模塊：xlrd 195
9.4.1 讀取Excel文件 196
9.4.2 寫入Excel單元格 197
9.5 PowerPoint文件讀寫模塊：pptx 197
9.5.1 讀取pptx 197
9.5.2 寫入pptx 198
9.6 重要的數據處理庫：Pandas庫 199
9.6.1 使用pandas庫處理CSV文件 200
9.6.2 使用pandas庫處理JSON文件 200
9.6.3 使用pandas庫處理HTML文件 202
【示例9-2】用read_html()將某二手房網站錶格中的數據提取齣來 203
9.6.4 使用pandas庫處理SQL文件 203
9.7 調用Office軟件擴展包：win32com204
9.7.1 讀取Excel文件 204
9.7.2 讀取Word文件 205
9.7.3 讀取PowerPoint文件 205
9.8 讀取PDF文件 206
9.8.1 讀取英文PDF文檔 206
9.8.2 讀取中文PDF文檔 208
9.8.3 讀取掃描型PDF文檔 210
9.9 綜閤實例：自動將網絡文章轉化為PPT文檔 211
第10章 通過API獲取數據
10.1 免費財經API——TuShare 214
10.1.1 獲取股票交易數據 215
【示例10-1】獲取某股票2017年8月份的周K綫數據 215
10.1.2 獲取宏觀經濟數據 217
10.1.3 獲取電影票房數據 219
10.2 新浪微博API的調用 220
10.2.1 創建應用 220
10.2.2 使用API 222
10.3 調用百度地圖API 225
10.3.1 獲取城市經緯度 226
【示例10-2】使用百度地圖API獲取南京市的經緯度信息 226
10.3.2 定位網絡IP 226
【示例10-3】使用百度API定位IP地址（223.112.112.144） 226
10.3.3 獲取全景靜態圖 227
10.4 調用淘寶API 228
第11章 網絡爬蟲工具
11.1 使用Excel采集網頁數據 231
11.1.1 抓取網頁中的錶格 232
11.1.2 抓取非錶格的結構化數據 233
11.2 使用Web Scraper插件 237
11.2.1 安裝Web Scraper 237
11.2.2 Web Scraper的使用 238
【示例11-1】使用Web Scraper爬取當當網小說書目 238
11.3 商業化爬取工具 240
11.3.1 自定義采集 241
【示例11-2】利用網絡爬蟲軟件八爪魚自定義采集當當網圖書信息 241
11.3.2 網站簡易采集 245
【示例11-3】利用網絡爬蟲軟件八爪魚的網絡簡易采集方式抓取房天下網中的閤肥新房房價數據 245
第12章 數據分析工具：科學計算庫
12.1 單一類型數據高效處理：Numpy庫 248
12.1.1 ndarray數組 248
【示例12-1】對一維ndarray數組a進行讀取、修改和切片操作 249
【示例12-2】對多維ndarray數組b進行讀取、修改和切片操作 250
【示例12-3】對多維ndarray數組n進行矩陣運算（拼接、分解、轉置、行列式、
求逆和點乘） 252
12.1.2 Numpy常用函數 253
【示例12-4】對多維ndarray數組a進行統計操作 253
【示例12-5】對一維ndarray數組a進行數據處理操作（去重、直方圖統計、相關
係數、分段、多項式擬閤） 256
12.1.3 Numpy性能優化 257
12.2 復雜數據全麵處理：Pandas庫 258
12.2.1 Pandas庫中的4種基礎數據結構 258
12.2.2 Pandas使用技巧 264
【示例12-6】對比普通for循環遍曆與iterrows()遍曆方法的速度差異 264
12.3 Python機器學習庫：Scikit-learn 268
【示例12-7】以鳶尾花數據為例，使用Sklearn進行監督學習的基本建模過程（決策樹模型） 269
第13章 掌握繪圖軟件：將數據可視化
13.1 應用廣泛的數據可視化：Excel繪圖 271
13.1.1 繪製（對比）柱形圖 272
13.1.2 繪製餅圖並添加標注 273
13.1.3 其他圖形 275
13.1.4 Excel頻率分布直方圖 276
【示例13-1】利用Excel繪製全國各省市城鎮人員平均工資頻率分布直方圖 276
13.2 適閤處理海量數據：Tableau繪圖 278
13.2.1 基本操作：導入數據 278
13.2.2 繪製（多重）柱狀對比圖 279
13.2.3 智能顯示：圖形轉換 281
13.2.4 繪製頻率分布直方圖 281
【示例13-2】利用Tableau繪製2015年我國城鎮就業人員平均工資頻率分布直方圖 281
13.3 完善的二維繪圖庫：Matplotlib/Seaborn 283
13.3.1 使用Matplotlib繪製函數圖錶 283
13.3.2 使用Matplotlib繪製統計圖錶 285
13.4 優化：Seaborn的使用 289
13.5 綜閤實例：利用Matplotlib構建閤肥美食地圖 293
13.5.1 繪製區域地圖 293
13.5.2 利用百度地圖Web服務API獲取美食地址 294
13.5.3 數據分析 298
13.5.4 繪製熱力圖完善美食地圖展示 300
· · · · · · (收起)
讀後感
評分
书讲的非常好，涵盖了很多知识点，受益匪浅。感谢！ 在编程中，总是会遇到很多的问题，令人迷惑，令人不解。这本书就是在为你迷惑的时候准备的，假如你是一个新手，还是去读实践类型的书吧，这本书你很可能看不懂。如果你没有一点编写Python程序的经验的话，书中那些作者在编程...
評分爬虫，顾名思义，爬取网络上的资料，不论是开源还是不开源，通过技术手段，爬取，在法律允许的范围内。 爬虫，成为如今初创企业数据的重要来源，那么如何获取数据，从哪里获取，面对众多的反扒，我们应该怎么做呢？本书为读者介绍了如何使用Python编写网络爬虫批量采集互联网数...
評分爬虫，顾名思义，爬取网络上的资料，不论是开源还是不开源，通过技术手段，爬取，在法律允许的范围内。 爬虫，成为如今初创企业数据的重要来源，那么如何获取数据，从哪里获取，面对众多的反扒，我们应该怎么做呢？本书为读者介绍了如何使用Python编写网络爬虫批量采集互联网数...
評分爬虫，顾名思义，爬取网络上的资料，不论是开源还是不开源，通过技术手段，爬取，在法律允许的范围内。 爬虫，成为如今初创企业数据的重要来源，那么如何获取数据，从哪里获取，面对众多的反扒，我们应该怎么做呢？本书为读者介绍了如何使用Python编写网络爬虫批量采集互联网数...
評分爬虫，顾名思义，爬取网络上的资料，不论是开源还是不开源，通过技术手段，爬取，在法律允许的范围内。 爬虫，成为如今初创企业数据的重要来源，那么如何获取数据，从哪里获取，面对众多的反扒，我们应该怎么做呢？本书为读者介绍了如何使用Python编写网络爬虫批量采集互联网数...
用戶評價
评分
一般，免不瞭現在大部分這類書的記流水賬的俗套，不過覆蓋麵倒是挺廣的，還講到瞭驗證碼識彆和一些反扒的小技巧，收貨還是有的，但是很多代碼細節沒有到位，進度忽快忽慢，讓人沒有讀下去的欲望，前麵和後麵基本上都是快速翻過去的，python和其他的一些基礎知識講的太多瞭，明明是一本爬蟲書，適閤0基礎。
评分一般，免不瞭現在大部分這類書的記流水賬的俗套，不過覆蓋麵倒是挺廣的，還講到瞭驗證碼識彆和一些反扒的小技巧，收貨還是有的，但是很多代碼細節沒有到位，進度忽快忽慢，讓人沒有讀下去的欲望，前麵和後麵基本上都是快速翻過去的，python和其他的一些基礎知識講的太多瞭，明明是一本爬蟲書，適閤0基礎。
评分一般，免不瞭現在大部分這類書的記流水賬的俗套，不過覆蓋麵倒是挺廣的，還講到瞭驗證碼識彆和一些反扒的小技巧，收貨還是有的，但是很多代碼細節沒有到位，進度忽快忽慢，讓人沒有讀下去的欲望，前麵和後麵基本上都是快速翻過去的，python和其他的一些基礎知識講的太多瞭，明明是一本爬蟲書，適閤0基礎。
评分一般，免不瞭現在大部分這類書的記流水賬的俗套，不過覆蓋麵倒是挺廣的，還講到瞭驗證碼識彆和一些反扒的小技巧，收貨還是有的，但是很多代碼細節沒有到位，進度忽快忽慢，讓人沒有讀下去的欲望，前麵和後麵基本上都是快速翻過去的，python和其他的一些基礎知識講的太多瞭，明明是一本爬蟲書，適閤0基礎。
评分整本書由淺入深，適閤有Python基礎的初學者循序漸進地學習，書中也配閤瞭相關的實戰課程，讓讀者在學習的過程中能夠得到足夠的練習。畢竟實踐是檢驗真理的唯一標準。還介紹瞭各種反爬蟲策略，是一本好書！
相關圖書
本站所有內容均為互聯網搜索引擎提供的公開搜索信息，本站不存儲任何數據與內容，任何內容與數據均與本站無關，如有需要請聯繫相關搜索引擎包括但不限於百度，google,bing,sogou 等
© 2026 qciss.net All Rights Reserved. 小哈圖書下載中心 版权所有