第 1 章 如何閱讀本書……………………………………………………………………… 1
1.1 獲取Python ……………………………………………………………………… 2
1.1.1 學習Python …………………………………………………………… 3
1.1.2 軟件包 …………………………………………………………………… 3
1.2 不需要等待 ……………………………………………………………………… 3
1.3 小結 ……………………………………………………………………………… 4
附注 ……………………………………………………………………………………… 5
第 2 章 深度學習入門……………………………………………………………………… 6
2.1 為什麼要學習深度學習 ………………………………………………………… 7
2.1.1 最後一子 ………………………………………………………………… 8
2.1.2 一件怪事 ………………………………………………………………… 8
2.1.3 兩類人 …………………………………………………………………… 9
2.2 什麼是深度學習 …………………………………………………………………10
2.2.1 成功的藍圖 ………………………………………………………………10
2.2.2 有監督學習和無監督學習 ……………………………………………… 11
2.2.3 深度學習的流程 ………………………………………………………… 11
2.3 深度學習能解決什麼問題 ……………………………………………………… 12
2.4 哪些領域使用深度學習 …………………………………………………………14
2.4.1 深度學習能揭開永葆青春的秘密嗎 …………………………………… 15
2.4.2 衰老的挑戰 ……………………………………………………………… 15
2.4.3 眾多的理論 ……………………………………………………………… 16
2.4.4 數據科學傢的答案 ……………………………………………………… 16
2.5 想使用深度學習——卻不知如何開始 ………………………………………… 17
2.6 小結 ………………………………………………………………………………18
附注 ………………………………………………………………………………………18
第3 章 神經網絡基礎………………………………………………………………………27
3.1 曆史備忘錄 ………………………………………………………………………28
3.2 神經網絡的拓撲結構 ……………………………………………………………29
3.3 神經元的作用 ……………………………………………………………………30
人工神經元 ………………………………………………………………………31
3.4 理解激活函數 ……………………………………………………………………31
3.4.1 數學計算 …………………………………………………………………32
3.4.2 sigmoid 函數 ……………………………………………………………34
3.4.3 運算成本 …………………………………………………………………34
3.5 神經網絡如何進行學習 …………………………………………………………35
基本算法 …………………………………………………………………………36
3.6 解釋梯度下降算法 ………………………………………………………………37
3.6.1 誤差麯麵 …………………………………………………………………38
3.6.2 隨機梯度下降 ………………………………………………………… 39
3.7 小結 …………………………………………………………………………… 39
附注 …………………………………………………………………………………… 40
第4 章 深度神經網絡簡介…………………………………………………………………42
4.1 深度神經網絡簡析 ………………………………………………………………43
4.2 怎樣在一分鍾內解釋深度神經網絡 ………………………………………… 44
4.2.1 如何看待DNN ……………………………………………………… 44
4.2.2 統計學傢的視角 …………………………………………………………45
4.2.3 一個關鍵的觀點 …………………………………………………………45
4.3 深度神經網絡的3 種使用方式 …………………………………………………45
4.3.1 增強霧天的可視性 ………………………………………………………46
4.3.2 打擊黑客犯罪 ……………………………………………………………50
4.3.3 不可思議的縮略圖 ……………………………………………………… 51
4.4 如何快速地近似任何函數 ………………………………………………………54
4.4.1 一個用Python 構建深度神經網絡的極簡方法 ………………………55
4.4.2 生成示例 …………………………………………………………………56
4.4.3 檢查樣本 …………………………………………………………………57
4.4.4 格式化數據 ………………………………………………………………58
4.4.5 擬閤模型 …………………………………………………………………60
4.4.6 性能錶現評估 …………………………………………………………… 61
4.5 有監督學習概述 …………………………………………………………………62
4.5.1 有監督學習的目標 ………………………………………………………63
4.5.2 無監督學習 ………………………………………………………………63
4.5.3 半監督學習 ………………………………………………………………64
4.6 小結 ………………………………………………………………………………65
附注 ………………………………………………………………………………………65
第5 章 如何構建可定製的深度預測模型…………………………………………………70
5.1 一個深度神經網絡預測的實際應用 …………………………………………… 71
5.1.1 樣本數據和神經網絡 …………………………………………………… 71
5.1.2 可靠的性能錶現 …………………………………………………………72
5.2 明確預測目標 ……………………………………………………………………72
5.3 獲取數據的拷貝 …………………………………………………………………74
5.4 標準化的重要性 …………………………………………………………………75
5.5 使用訓練樣本和測試樣本 ………………………………………………………76
5.6 創建深度神經網絡迴歸模型的極簡方式 ………………………………………78
5.7 學習速率詳解 ……………………………………………………………………79
5.7.1 選擇最佳值 …………………………………………………………… 80
5.7.2 如果將模型擬閤到數據 …………………………………………………81
5.8 評估模型在訓練集性能錶現的幾種方式 ………………………………………81
5.8.1 均方差 ……………………………………………………………………82
5.8.2 獲取預測和度量性能 ……………………………………………………83
5.9 小結 ………………………………………………………………………………83
附注 …………………………………………………………………………………… 84
第6 章 提高性能的一些技巧 ………………………………………… 85
6.1 sigmoid 激活函數的局限 ………………………………………………………86
6.2 選擇最佳層數的原則 ………………………………………………………… 89
6.3 如何快速改進模型 ………………………………………………………………92
6.4 避免過度擬閤 ………………………………………………………………… 93
6.5 應該包含多少個神經元 …………………………………………………………95
6.6 評估測試數據集上的性能 ………………………………………………………96
6.7 凍結網絡權重 ……………………………………………………………………97
6.8 保存網絡以供將來使用 ……………………………………………………… 98
6.9 小結 …………………………………………………………………………… 99
附注 …………………………………………………………………………………… 99
第7 章 二元分類神經網絡的奧秘 ……………………………………101
7.1 感人至深——創造奇跡 ……………………………………………………… 102
7.1.1 一項二元分類任務 …………………………………………………… 103
7.1.2 有用的結果 …………………………………………………………… 103
7.2 瞭解分類目標 ………………………………………………………………… 104
7.3 使用Python 從網絡下載數據 ……………………………………………… 105
7.4 處理缺失的觀測值 …………………………………………………………… 107
7.5 保存數據 ……………………………………………………………………… 111
7.6 衝量簡單入門 ………………………………………………………………… 112
7.7 留齣法的秘密 ………………………………………………………………… 113
7.8 如何用Python 快速構建一個深度神經網絡二元分類器 ………………… 115
7.8.1 生成訓練集和測試集 ………………………………………………… 117
7.8.2 指定模型 ……………………………………………………………… 117
7.8.3 擬閤模型 ……………………………………………………………… 118
7.8.4 混淆矩陣 ……………………………………………………………… 119
7.9 小結 …………………………………………………………………………… 120
附注 …………………………………………………………………………………… 120
第8 章 構建優秀模型之道 ……………………………………………123
8.1 嘗試最簡單的想法提高成功率 ……………………………………………… 124
8.2 輟學的威力 …………………………………………………………………… 124
8.3 相似性 ………………………………………………………………………… 126
8.4 共適應 ………………………………………………………………………… 126
8.5 一個教訓 ……………………………………………………………………… 127
8.6 雙麯正切激活函數的威力以及如何有效地使用 …………………………… 127
8.7 如何從小批量方法中獲益 …………………………………………………… 128
8.8 重建模型 ……………………………………………………………………… 129
8.9 關於不平衡樣本你應該知道的事 …………………………………………… 131
8.9.1 核心問題 ……………………………………………………………… 131
8.9.2 查看測試集上的錶現 ………………………………………………… 133
8.10 小結 …………………………………………………………………………… 134
附注 …………………………………………………………………………………… 134
第9 章 深度神經網絡在多元分類問題的簡單應用 …………………136
9.1 分類問題描述 ………………………………………………………………… 138
9.1.1 查看樣本 ……………………………………………………………… 139
9.1.2 檢查目標對象 ………………………………………………………… 140
9.2 關於softmax 激活函數的說明 ……………………………………………… 140
9.3 使用rmsprop 算法構建多項式模型 ……………………………………… 141
9.3.1 關於rmsprop 算法的說明 ………………………………………… 143
9.3.2 模型性能錶現 ………………………………………………………… 144
9.4 Adagrad 學習算法概述 ……………………………………………………… 144
9.5 如何嘗試其他學習算法 ……………………………………………………… 146
9.5.1 Nesterov 的加速梯度下降算法 …………………………………… 146
9.5.2 嘗試衝量法 …………………………………………………………… 147
9.5.3 常規隨機梯度下降法 ………………………………………………… 148
9.5.4 在模型中使用Adadelta 算法 ……………………………………… 149
9.5.5 測試集性能錶現 ……………………………………………………… 150
9.6 小結 …………………………………………………………………………… 152
9.7 結束語 ………………………………………………………………………… 152
附注 …………………………………………………………………………………… 152
· · · · · · (收起)