第1 章
神經網絡發展史 / 1
1.1 神經網絡的早期雛形 / 3
1.1.1 聯結主義和Hebb 學習規則 / 4
1.1.2 Oja 學習規則及主分量分析 / 5
1.1.3 早期的神經元模型 / 5
1.2 現代神經網絡 / 6
1.2.1 反嚮傳播算法 / 6
1.2.2 神經網絡的通用函數近似性 / 8
1.2.3 深度的必要性 / 9
1.3 深度學習發展曆史中的重要神經網絡 / 10
1.3.1 深度神經網絡的興起 / 10
1.3.2 自組織特徵映射 / 10
1.3.3 霍普菲爾德神經網絡 / 11
1.3.4 玻爾茲曼機及受限玻爾茲曼機 / 12
1.3.5 深度信念網 / 14
1.3.6 其他深度神經網絡 / 15
1.4 本章小結 / 15
參考文獻 / 16
第2 章
深度學習開源框架 / 17
2.1 主流的深度學習開源框架 / 18
2.2 簡單神經網絡模型在不同框架上的實現對比 / 29
2.3 本章小結 / 44
參考文獻 / 45
第3 章
多層感知機在自然語言處理方麵的應用 / 46
3.1 詞和文本模型的發展曆程 / 47
3.2 Word2Vec 模型:基於上下文的分布式錶達 / 49
3.2.1 Skip-Gram 算法的訓練流程 / 50
3.2.2 Skip-Gram 算法的網絡結構 / 53
3.2.3 代價函數 / 54
3.3 應用TensorFlow 實現Word2Vec 模型 / 58
3.3.1 定義計算圖:訓練語料庫預處理 / 60
3.3.2 模型計算圖的實現 / 63
3.4 Word2Vec 模型的局限及改進 / 66
3.5 本章小結 / 67
參考文獻 / 68
第4 章
捲積神經網絡在圖像分類中的應用 / 69
4.1 圖像識彆和圖像分類的發展 / 72
4.2 AlexNet / 73
4.2.1 網絡模型結構 / 74
4.2.2 AlexNet 的具體改進 / 79
4.2.3 代價函數 / 83
4.3 應用TensorFlow 實現AlexNet / 83
4.3.1 讀取訓練圖像集 / 83
4.3.2 模型計算圖的實現 / 84
4.4 本章小結 / 85
參考文獻 / 86
第5 章
遞歸神經網絡 / 87
5.1 遞歸神經網絡應用背景介紹 / 88
5.2 遞歸神經網絡模型介紹 / 89
5.2.1 遞歸神經網絡模型結構 / 89
5.2.2 雙嚮遞歸神經網絡 / 90
5.2.3 長短期記憶模型 / 91
5.3 遞歸神經網絡展望 / 94
5.4 本章小結 / 95
參考文獻 / 95
第6 章
DeepIntent 模型在信息檢索領域的應用 / 96
6.1 信息檢索在搜索廣告中的應用發展 / 97
6.2 含有注意力機製的RNN 模型 / 99
6.2.1 網絡模型結構 / 100
6.2.2 代價函數 / 104
6.3 應用TensorFlow 實現DeepIntent 模型 / 107
6.3.1 定義計算圖 / 107
6.3.2 定義代價函數及優化算法 / 114
6.3.3 執行計算圖進行訓練 / 118
6.4 本章小結 / 119
參考文獻 / 120
第7 章
圖像識彆及在廣告搜索方麵的應用 / 121
7.1 視覺搜索 / 122
7.2 方法和係統 / 124
7.2.1 圖像DNN 編碼器 / 124
7.2.2 利用Rich-CDSSM 降低維度 / 125
7.2.3 快速最近鄰搜索係統 / 127
7.2.4 精密層 / 127
7.2.5 端到端服務係統 / 128
7.3 評測 / 129
7.4 用於演示的Visual Shopping Assistant 應用程序 / 131
7.5 相關工作 / 132
7.6 本章小結 / 133
第8 章
Seq2Seq 模型在聊天機器人中的應用 / 134
8.1 Seq2Seq 模型應用背景 / 135
8.2 Seq2Seq 模型的應用方法 / 136
8.3 含有注意力機製的多層Seq2Seq 模型 / 137
8.3.1 詞嵌入層 / 137
8.3.2 可變深度LSTM 遞歸層 / 138
8.3.3 注意力機製層 / 139
8.3.4 投影層 / 139
8.3.5 損失函數(loss function)和端到端訓練 / 140
8.4 信息導嚮的自適應序列采樣 / 142
8.5 多輪項目推薦 / 143
8.6 熵作為信心的度量 / 143
8.6.1 直觀的定義和討論 / 143
8.6.2 序列後驗估計的不確定性 / 145
8.6.3 信息導嚮的抽樣:最大化預期信息增益的原則 / 145
8.6.4 Seq2Seq 模型的3 個應用程序 / 146
8.6.5 應用程序1:查詢理解和重寫 / 147
8.6.6 應用程序2:相關性評分 / 152
8.6.7 應用程序3:聊天機器人 / 156
8.7 本章小結 / 160
參考文獻 / 160
第9 章
word2vec 的改進:fastText 模型 / 162
9.1 fastText 模型的原理 / 163
9.1.1 迴顧Skip-Gram 算法 / 163
9.1.2 subword 模型 / 164
9.1.3 subword 形態 / 167
9.1.4 分層softmax / 168
9.1.5 fastText 的模型架構 / 170
9.1.6 fastText 算法實現 / 171
9.2 應用場景:搜索廣告中的查詢詞關鍵詞匹配問題 / 172
9.3 本章小結 / 173
參考文獻 / 174
第10 章
生成對抗網絡 / 175
10.1 生成對抗網絡的原理 / 176
10.1.1 GAN 的基本模型 / 176
10.1.2 GAN 優化目標的原理 / 178
10.1.3 GAN 的訓練 / 179
10.1.4 GAN 的擴展模型 / 180
10.2 應用場景:搜索廣告中由查詢詞直接生成關鍵詞 / 182
10.2.1 生成模型的構建 / 182
10.2.2 判彆模型的構建 / 184
10.2.3 條件生成對抗網絡的構建 / 185
10.3 本章小結 / 186
參考文獻 / 187
第11 章
深度強化學習 / 188
11.1 深度強化學習的原理 / 189
11.1.1 強化學習的基本概念 / 189
11.1.2 馬爾可夫決策過程 / 191
11.1.3 價值函數和貝爾曼方程 / 192
11.1.4 策略迭代和值迭代 / 194
11.1.5 Q-Learning / 196
11.1.6 深度Q 網絡 / 198
11.1.7 策略梯度 / 201
11.1.8 動作評價網絡 / 202
11.2 應用場景:基於深度強化學習的推薦係統 / 203
11.3 本章小結 / 206
參考文獻 / 206
第12 章
工程實踐和綫上優化 / 208
12.1 Seq2Seq 模型介紹 / 209
12.2 LSTM 優化分析 / 211
12.2.1 優化一:指數運算的近似展開 / 214
12.2.2 優化二:矩陣運算的執行速度優化 / 218
12.2.3 優化三:多綫程並行處理 / 224
12.3 優化應用實例:RapidScorer 算法對GBDT 的加速 / 227
12.3.1 背景介紹 / 228
12.3.2 RapidScorer 數據結構設計 / 231
12.3.3 RapidScorer 矢量化 / 233
12.3.4 RapidScorer 實驗結果 / 237
12.4 本章小結 / 238
參考文獻 / 239
第13 章
深度學習的下一個浪潮 / 240
13.1 深度學習的探索方嚮展望 / 241
13.1.1 設計更好的生成模型 / 241
13.1.2 深度強化學習的發展 / 241
13.1.3 半監督學習與深度學習 / 242
13.1.4 深度學習自身的學習 / 242
13.1.5 遷移學習與深度學習的結閤 / 242
13.1.6 用於推理的深度學習 / 243
13.1.7 深度學習工具的標準化 / 243
13.2 深度學習的應用場景展望 / 243
13.2.1 醫療健康領域 / 243
13.2.2 安全隱私領域 / 248
13.2.3 城市治理領域 / 249
13.2.4 藝術創作領域 / 250
13.2.5 金融保險領域 / 252
13.2.6 無人服務領域 / 254
13.3 本章小結 / 257
參考文獻 / 258
· · · · · · (
收起)