第1章　機器學習理論簡述　　1
1.1 經驗誤差最小化 　　2
1.1.1 假設與定義　　2
1.1.2 原理陳述 　　4
1.2 經驗風險最小化原理的一緻性　　4
1.2.1 在測試集上估計泛化誤差　　6
1.2.2 泛化誤差的一緻邊界　　7
1.2.3 結構風險最小化　　15
1.3 依賴於數據的泛化誤差界　　17
1.3.1 Rademacher 復雜度　　17
1.3.2 Rademacher 復雜度和VC 維的聯係　　17
1.3.3 利用Rademacher 復雜度獲取泛化界的步驟　　19
1.3.4 Rademacher 復雜度的性質　　23
第2章　無約束凸優化算法　　26
2.1 梯度法　　29
2.1.1 批處理模式　　29
2.1.2 在綫模式　　31
2.2 擬牛頓法　　32
2.2.1 牛頓方嚮　　32
2.2.2 Broyden-Fletcher-Goldfarb-Shanno 公式　　33
2.3 綫搜索　　36
2.3.1 Wolfe 條件　　37
2.3.2 基於迴溯策略的綫搜索　　41
2.4 共軛梯度法　　43
2.4.1 共軛方嚮　　43
2.4.2 共軛梯度算法　　46
第3章　二類分類　　48
3.1 感知機　　48
3.1.1 感知機的收斂性定理　　51
3.1.2 帶間隔感知機及其與經驗風險最小化原理的聯係　　53
3.2 Adaline　　54
3.2.1 與綫性迴歸和經驗風險最小化原理的聯係　　54
3.3 Logistic 迴歸 　　56
3.3.1 與經驗風險最小化原理的聯係　　57
3.4 支持嚮量機　　58
3.4.1 硬間隔　　58
3.4.2 軟間隔　　63
3.4.3 基於間隔的泛化誤差界　　66
3.5 AdaBoost　　68
3.5.1 與經驗風險最小化原理的聯係　　70
3.5.2 拒絕法抽樣　　72
3.5.3 理論研究　　73
第4章　多類分類　　76
4.1 形式錶述　　76
4.1.1 分類誤差　　77
4.1.2 泛化誤差界　　77
4.2 單一法　　80
4.2.1 多類支持嚮量機　　80
4.2.2 多類AdaBoost　　84
4.2.3 多層感知機　　87
4.3 組閤二類分類算法的模型　　91
4.3.1 一對全　　91
4.3.2 一對一　　92
4.3.3 糾錯碼　　93
第5章　半監督學習　　95
5.1 無監督框架和基本假設　　95
5.1.1 混閤密度模型　　96
5.1.2 估計混閤參數　　96
5.1.3 半監督學習的基本假設　　102
5.2 生成法　　104
5.2.1 似然準則在半監督學習情形的推廣　　104
5.2.2 半監督CEM 算法　　105
5.2.3 應用：樸素貝葉斯分類器的半監督學習　　106
5.3 判彆法　　108
5.3.1 自訓練算法 　　109
5.3.2 轉導支持嚮量機　　111
5.3.3 貝葉斯分類器誤差的轉導界　　113
5.3.4 基於僞標注的多視角學習　　116
5.4 圖法　　118
5.4.1 標注的傳播 　　119
5.4.2 馬爾可夫隨機遊動　　121
第6章　排序學習　　123
6.1 形式錶述　　123
6.1.1 排序誤差函數　　124
6.1.2 樣例排序　　127
6.1.3 備擇排序　　128
6.2 方法　　130
6.2.1 單點法 　　130
6.2.2 成對法 　　135
6.3 互相關數據的學習 　　144
6.3.1 測試界 　　146
6.3.2 泛化界 　　146
6.3.3 一些具體例子中的界的估計　　151
附錄　迴顧和補充　　155
附錄A　概率論迴顧　　156
A.1 概率測度　　156
A.1.1 可概率化空間　　156
A.1.2 概率空間　　157
A.2 條件概率　　158
A.2.1 貝葉斯公式　　158
A.2.2 獨立性　　159
A.3 實隨機變量 　　159
A.3.1 分布函數　　160
A.3.2 隨機變量的期望和方差　　161
A.3.3 集中不等式　　162
附錄B　程序代碼　　166
B.1 數據結構　　166
B.1.1 數據集　　166
B.1.2 超參數結構　　167
B.2 稀疏錶示　　168
B.3 程序運行　　170
B.4 代碼　　172
B.4.1 BGFS 算法（2.2.2 節）　　172
B.4.2 綫搜索（2.3 節） 　　175
B.4.3 共軛梯度法（2.4 節）　　178
B.4.4 感知機（3.1 節） 　　180
B.4.5 Adaline 算法（3.2 節）　　181
B.4.6 Logistic 迴歸（3.3 節）　　182
B.4.7 AdaBoost 算法（3.5 節）　　184
B.4.8 AdaBoost M2 算法（4.2.2 節）　　188
B.4.9 多層感知機（4.2.3 節）　　192
B.4.10 K-均值算法（5.1.2 節）　　195
B.4.11 半監督樸素貝葉斯（5.2.3 節） 　　197
B.4.12 自學習（5.3.1 節） 　　201
B.4.13 一次性自學習（5.3.1 節） 　　204
B.4.14 PRank 算法（6.2.1 節）　　205
B.4.15 RankBoost 算法（6.2.2 節）　　207
參考文獻　　211
· · · · · · (收起)