第1章 統計模式識彆緒論
1.1 統計模式識彆
1.1.1 引言
1.1.2 基本模型
1.2 解決模式識彆問題的步驟
1.3 問題討論
1.4 統計模式識彆的方法
1.5 基本決策理論
1.5.1 最小錯誤貝葉斯決策規則
1.5.2 最小錯誤貝葉斯決策規則——拒絕分類
1.5.3 最小風險貝葉斯決策規則
1.5.4 最小風險貝葉斯決策規則——拒絕分類
1.5.5 NeymanPearson決策規則
1.5.6 最小最大決策
1.5.7 討論
1.6 判彆函數
1.6.1 引言
1.6.2 綫性判彆函數
1.6.3 分段綫性判彆函數
1.6.4 廣義綫性判彆函數
1.6.5 小結
1.7 多重迴歸
1.8 本書梗概
1.9 提示及參考文獻
習題
第2章 密度估計的參數法
2.1 引言
2.2 分布參數估計
2.2.1 估計法
2.2.2 預測法
2.3 高斯分類器
2.3.1 詳述
2.3.2 高斯分類器插入估計的推導
2.3.3 應用研究舉例
2.4 處理高斯分類器的奇異問題
2.4.1 引言
2.4.2 樸素貝葉斯
2.4.3 投影到子空間
2.4.4 綫性判彆函數
2.4.5 正則化判彆分析
2.4.6 應用研究舉例
2.4.7 拓展研究
2.4.8 小結
2.5 有限混閤模型
2.5.1 引言
2.5.2 混閤判彆模型
2.5.3 正態混閤模型的參數估計
2.5.4 正態混閤模型協方差矩陣約束
2.5.5 混閤模型分量的數量
2.5.6 期望最大化算法下的極大似然估計
2.5.7 應用研究舉例
2.5.8 拓展研究
2.5.9 小結
2.6 應用研究
2.7 總結和討論
2.8 建議
2.9 提示及參考文獻
習題
第3章 密度估計的貝葉斯法
3.1 引言
3.1.1 基本原理
3.1.2 遞歸計算
3.1.3 比例性
3.2 解析解
3.2.1 共軛先驗概率
3.2.2 方差已知的正態分布的均值估計
3.2.3 多元正態分布的均值及協方差矩陣估計
3.2.4 未知類先驗概率的情形
3.2.5 小結
3.3 貝葉斯采樣方案
3.3.1 引言
3.3.2 梗概
3.3.3 貝葉斯分類器的采樣類型
3.3.4 拒絕采樣
3.3.5 均勻比
3.3.6 重要性采樣
3.4 馬爾可夫鏈濛特卡羅方法
3.4.1 引言
3.4.2 吉布斯(Gibbs)采樣器
3.4.3 MetropolisHastings算法
3.4.4 數據擴充
3.4.5 可逆跳躍馬爾可夫鏈濛特卡羅方法
3.4.6 切片采樣
3.4.7 MCMC舉例——正弦噪聲估計
3.4.8 小結
3.4.9 提示及參考文獻
3.5 貝葉斯判彆方法
3.5.1 標記訓練數據
3.5.2 無類彆標簽的訓練數據
3.6 連續濛特卡羅采樣
3.6.1 引言
3.6.2 基本方法
3.6.3 小結
3.7 變分貝葉斯方法
3.7.1 引言
3.7.2 描述
3.7.3 分解為因子的變分近似
3.7.4 簡單的例子
3.7.5 模型選擇中的運用
3.7.6 拓展研究與應用
3.7.7 小結
3.8 近似貝葉斯計算
3.8.1 引言
3.8.2 ABC拒絕采樣
3.8.3 ABC MCMC采樣
3.8.4 ABC總體濛特卡羅采樣
3.8.5 模型選擇
3.8.6 小結
3.9 應用研究舉例
3.10應用研究
3.11總結和討論
3.12建議
3.13提示及參考文獻
習題
第4章 密度估計的非參數法
4.1 引言
4.1.1 密度估計的基本性質
4.2 k近鄰法
4.2.1 k近鄰分類器
4.2.2 推導
4.2.3 距離度量的選擇
4.2.4 最近鄰法決策規則的性質
4.2.5 綫性逼近排除搜索算法
4.2.6 分支定界搜索算法： kd樹
4.2.7 分支定界搜索算法： ball樹
4.2.8 剪輯方法
4.2.9 應用研究舉例
4.2.10拓展研究
4.2.11小結
4.3 直方圖法
4.3.1 直方圖自適應數據
4.3.2 獨立性假設（樸素貝葉斯）
4.3.3 Lancaster模型
4.3.4 最大權值相關樹
4.3.5 貝葉斯網絡
4.3.6 應用研究舉例： 樸素貝葉斯文本分類
4.3.7 小結
4.4 核函數方法
4.4.1 有偏估計
4.4.2 延伸到多元
4.4.3 平滑參數的選擇
4.4.4 核函數的選擇
4.4.5 應用研究舉例
4.4.6 拓展研究
4.4.7 小結
4.5 用基函數展開
4.6 copula方法
4.6.1 引言
4.6.2 數學基礎
4.6.3 copula函數
4.6.4 copula概率密度函數的估計
4.6.5 簡單舉例
4.6.6 小結
4.7 應用研究
4.7.1 比較研究
4.8 總結和討論
4.9 建議
4.10提示及參考文獻
習題
第5章 綫性判彆分析
5.1 引言
5.2 兩類問題算法
5.2.1 總體思路
5.2.2 感知準則
5.2.3 Fisher準則
5.2.4 最小均方誤差法
5.2.5 拓展研究
5.2.6 小結
5.3 多類算法
5.3.1 總體思路
5.3.2 錯誤修正法
5.3.3 Fisher準則：綫性判彆分析
5.3.4 最小均方誤差法
5.3.5 正則化
5.3.6 應用研究實例
5.3.7 拓展研究
5.3.8 小結
5.4 支持嚮量機
5.4.1 引言
5.4.2 兩類綫性可分數據問題
5.4.3 兩類綫性不可分數據問題
5.4.4 多類支持嚮量機
5.4.5 支持嚮量機迴歸
5.4.6 具體實施
5.4.7 應用研究舉例
5.4.8 小結
5.5 logistic判彆
5.5.1 兩類問題
5.5.2 極大似然估計
5.5.3 多類logistic判彆
5.5.4 應用研究舉例
5.5.5 拓展研究
5.5.6 小結
5.6 應用研究
5.7 總結和討論
5.8 建議
5.9 提示及參考文獻
習題
第6章 非綫性判彆分析——核與投影法
6.1 引言
6.2 徑嚮基函數
6.2.1 引言
6.2.2 模型的確定
6.2.3 指定函數的形式
6.2.4 中心位置
6.2.5 平滑參數
6.2.6 權值的計算
6.2.7 模型階次的選擇
6.2.8 簡單徑嚮基函數
6.2.9 一些調整
6.2.10徑嚮基函數的性質
6.2.11應用研究舉例
6.2.12拓展研究
6.2.13小結
6.3 非綫性支持嚮量機
6.3.1 引言
6.3.2 二分類
6.3.3 核函數的類型
6.3.4 模型選擇
6.3.5 多類支持嚮量機
6.3.6 概率估計
6.3.7 非綫性迴歸
6.3.8 應用研究舉例
6.3.9 拓展研究
6.3.10小結
6.4 多層感知器
6.4.1 引言
6.4.2 多層感知器結構的確定
6.4.3 多層感知器權值的確定
6.4.4 多層感知器的建模能力
6.4.5 logistic分類
6.4.6 應用研究舉例
6.4.7 貝葉斯多層感知器網絡
6.4.8 投影尋蹤
6.4.9 小結
6.5 應用研究
6.6 總結和討論
6.7 建議
6.8 提示及參考文獻
習題
第7章 規則和決策樹歸納法
7.1 引言
7.2 決策樹
7.2.1 引言
7.2.2 決策樹的構造
7.2.3 拆分規則的選擇
7.2.4 終止拆分過程
7.2.5 為終端節點分配類標簽
7.2.6 決策樹剪枝（含實施示例）
7.2.7 決策樹構造方法
7.2.8 其他問題
7.2.9 應用研究舉例
7.2.10拓展研究
7.2.11小結
7.3 規則歸納
7.3.1 引言
7.3.2 從決策樹生成規則
7.3.3 用連續覆蓋算法進行規則歸納
7.3.4 應用研究舉例
7.3.5 拓展研究
7.3.6 小結
7.4 多元自適應迴歸樣條
7.4.1 引言
7.4.2 遞歸分割模型
7.4.3 應用研究舉例
7.4.4 拓展研究
7.4.5 小結
7.5 應用研究
7.6 總結和討論
7.7 建議
7.8 提示及參考文獻
習題
第8章 組閤方法
8.1 引言
8.2 分類器組閤方案特性
8.2.1 特徵空間
8.2.2 層次
8.2.3 訓練程度
8.2.4 成員分類器的形式
8.2.5 結構
8.2.6 優化
8.3 數據融閤
8.3.1 體係結構
8.3.2 貝葉斯方法
8.3.3 奈曼皮爾遜(NeymanPearson)公式
8.3.4 可訓練規則
8.3.5 固定規則
8.4 分類器組閤方法
8.4.1 乘積規則
8.4.2 和式規則
8.4.3 最小、最大及中值組閤分類器
8.4.4 多數錶決
8.4.5 Borda數
8.4.6 在類彆預測上訓練組閤分類器
8.4.7 疊加歸納
8.4.8 專傢混閤器
8.4.9 bagging
8.4.10boosting
8.4.11隨機森林
8.4.12模型平均
8.4.13方法小結
8.4.14應用研究舉例
8.4.15拓展研究
8.5 應用研究
8.6 總結和討論
8.7 建議
8.8 提示及參考文獻
習題
第9章 性能評價
9.1 引言
9.2 性能評價
9.2.1 性能測度
9.2.2 判彆力
9.2.3 可靠性
9.2.4 用於性能評價的ROC麯綫
9.2.5 總體漂移和傳感漂移
9.2.6 應用研究舉例
9.2.7 拓展研究
9.2.8 小結
9.3 分類器性能的比較
9.3.1 哪種方法最好
9.3.2 統計檢驗
9.3.3 錯分代價不定情況下的比較規則
9.3.4 應用研究舉例
9.3.5 拓展研究
9.3.6 小結
9.4 應用研究
9.5 總結和討論
9.6 建議
9.7 提示及參考文獻
習題
第10章 特徵選擇與特徵提取
10.1 引言
10.2 特徵選擇
10.2.1 引言
10.2.2 對特徵選擇方法的錶述
10.2.3 評估方法
10.2.4 選擇特徵子集的搜索算法
10.2.5 全搜索： 分支定界法
10.2.6 順序搜索
10.2.7 隨機搜索
10.2.8 馬爾可夫覆蓋
10.2.9 特徵選擇的穩定性
10.2.10應用研究舉例
10.2.11拓展研究
10.2.12小結
10.3 綫性特徵提取
10.3.1 主成分分析
10.3.2 KarhunenLoève變換
10.3.3 應用研究舉例
10.3.4 拓展研究
10.3.5 小結
10.4 多維尺度分析
10.4.1 經典尺度分析
10.4.2 計量多維尺度
10.4.3 次序尺度分析
10.4.4 算法
10.4.5 用於特徵提取的多維尺度分析
10.4.6 應用研究舉例
10.4.7 拓展研究
10.4.8 小結
10.5 應用研究
10.6 總結和討論
10.7 建議
10.8 提示及參考文獻
習題
第11章 聚類
11.1 引言
11.2 分層聚類法
11.2.1 單鏈接方法
11.2.2 完全鏈接方法
11.2.3 平方和方法
11.2.4 通用閤並算法
11.2.5 分層聚類法的性質
11.2.6 應用研究舉例
11.2.7 小結
11.3 快速分類
11.4 混閤模型
11.4.1 模型描述
11.4.2 應用研究舉例
11.5 平方和方法
11.5.1 聚類準則
11.5.2 聚類算法
11.5.3 矢量量化
11.5.4 應用研究舉例
11.5.5 拓展研究
11.5.6 小結
11.6 譜聚類
11.6.1 圖論初步
11.6.2 相似矩陣
11.6.3 聚類應用
11.6.4 譜聚類算法
11.6.5 拉普拉斯矩陣的形式
11.6.6 應用研究舉例
11.6.7 拓展研究
11.6.8 小結
11.7 聚類有效性
11.7.1 引言
11.7.2 統計檢驗
11.7.3 缺失類結構
11.7.4 各聚類的有效性
11.7.5 分級聚類
11.7.6 各單聚類的有效性
11.7.7 劃分
11.7.8 相關準則
11.7.9 選擇聚類個數
11.8 應用研究
11.9 總結和討論
11.10建議
11.11提示及參考文獻
習題
第12章 復雜網絡
12.1 引言
12.1.1 特徵
12.1.2 屬性
12.1.3 問題闡述
12.1.4 描述性特徵
12.1.5 概要
12.2 網絡的數學描述
12.2.1 圖矩陣
12.2.2 連通性
12.2.3 距離測度
12.2.4 加權網絡
12.2.5 中心測度
12.2.6 隨機圖
12.3 社區發現
12.3.1 聚類方法
12.3.2 GirvanNewman算法
12.3.3 模塊化方法
12.3.4 局部模塊化
12.3.5 小集團過濾
12.3.6 應用研究舉例
12.3.7 拓展研究
12.3.8 小結
12.4 鏈路預測
12.4.1 鏈路預測方法
12.4.2 應用研究舉例
12.4.3 拓展研究
12.5 應用研究
12.6 總結和討論
12.7 建議
12.8 提示及參考文獻
習題
第13章 其他論題
13.1 模型選擇
13.1.1 相互獨立的訓練集與測試集
13.1.2 交叉驗證
13.1.3 貝葉斯觀點
13.1.4 Akaike信息準則
13.1.5 最短描述長度
13.2 缺值數據
13.3 離群值檢測和魯棒方法
13.4 連續變量與離散變量的混閤
13.5 結構風險最小化和VapnikChervonenkis維數
13.5.1 期望風險邊界
13.5.2 VapnikChervonenkis維數
參考文獻
· · · · · · (收起)