前言

符号表

部分概述1

章绪论2

1.1样例：自动驾驶3

1.2模式识别与机器学习5

1.2.1一个典型的模式识别流程5

1.2.2模式识别vs.机器学习8

1.2.3评估、部署和细化9

1.3本书的结构9

习题12

第2章数学背景知识14

2.1线性代数14

2.1.1内积、范数、距离和正交性14

2.1.2角度与不等式15

2.1.3向量投影16

2.1.4矩阵基础17

2.1.5矩阵乘法18

2.1.6方阵的行列式与逆19

2.1.7方阵的特征值、特征向量、秩和迹20

2.1.8奇异值分解22

2.1.9(半)正定实对称矩阵22

2.2概率23

2.2.1基础23

2.2.2联合分布、条件分布与贝叶斯定理25

2.2.3期望与方差/协方差矩阵26

2.2.4不等式27

2.2.5独立性与相关性28

2.2.6正态分布29

2.3优化与矩阵微积分30

2.3.1局部极小、必要条件和矩阵微积分30

2.3.2凸优化与凹优化31

2.3.3约束优化和拉格朗日乘子法33

2.4算法复杂度34

2.5阅读材料35

习题35

第3章模式识别系统概述39

3.1人脸识别39

3.2一个简单的近邻分类器40

3.2.1训练或学习40

3.2.2测试或预测40

3.2.3近邻分类器41

3.2.4k-近邻42

3.3丑陋的细节43

3.4制定假设并化简46

3.4.1设计工作环境vs.设计复杂算法46

3.4.2假设与简化47

3.5一种框架51

3.6阅读材料51

习题53

第4章评估55

4.1简单情形中的准确率和错误率55

4.1.1训练与测试误差56

4.1.2过拟合与欠拟合56

4.1.3使用验证集来选择超参数58

4.1.4交验证59

4.2化代价/损失61

4.2.1正则化62

4.2.2代价矩阵62

4.2.3贝叶斯决策理论63

4.3不平衡问题中的评估64

4.3.1单个类别内的比率64

4.3.2ROC曲线下的面积65

4.3.3查准率、查全率和F值66

4.4我们能达到100％的准确率吗?68

4.4.1贝叶斯错误率68

4.4.2真实标记69

4.4.3偏置-方差分解70

4.5对评估结果的信心73

4.5.1为什么要取平均?73

4.5.2为什么要报告样本标准差?74

4.5.3比较分类器75

4.6阅读材料79

习题79

第二部分与领域知识无关的特征提取83

第5章主成分分析84

5.1动机84

5.1.1维度与内在维度84

5.1.2降维86

5.1.3PCA与子空间方法86

5.2PCA降维到零维子空间86

5.2.1想法-形式化-优化实践87

5.2.2一个简单的优化87

5.2.3一些注释88

5.3PCA降维到一维子空间88

5.3.1新的形式化88

5.3.2优性条件与化简89

5.3.3与特征分解的联系90

5.3.4解91

5.4PCA投影到更多维度91

5.5完整的PCA算法92

5.6方差的分析93

5.6.1从化方差出发的PCA94

5.6.2一种更简单的推导95

5.6.3我们需要多少维度呢?95

5.7什么时候使用或不用PCA呢?96

5.7.1高斯数据的PCA96

5.7.2非高斯数据的PCA96

5.7.3含异常点数据的PCA98

5.8白化变换98

5.9特征分解vs.SVD98

5.10阅读材料99

习题99

第6章Fisher线性判别103

6.1用于二分类的FLD104

6.1.1想法：什么是隔得很远呢?104

6.1.2翻译成数学语言105

6.1.3散度矩阵vs.协方差矩阵107

6.1.4两种散度矩阵以及FLD的目标函数108

6.1.5优化108

6.1.6等等,我们有一条捷径109

6.1.7二分类问题的FLD109

6.1.8陷阱：要是SW不可逆呢?110

6.2用于多类的FLD111

6.2.1稍加修改的符号和SW111

6.2.2SB的候选111

6.2.3三个散度矩阵的故事112

6.2.4解113

6.2.5找到更多投影方向113

6.3阅读材料113

习题114

第三部分分类器与其他工具119

第7章支持向量机120

7.1SVM的关键思想120

7.1.1简化它!简化它!简化它!120

7.1.2查找（或较大）间隔的分类器121

7.2可视化并计算间隔122

7.2.1几何的可视化123

7.2.2将间隔作为优化来计算124

7.3化间隔124

7.3.1形式化125

7.3.2各种简化125

7.4优化与求解127

7.4.1拉格朗日函数与KKT条件127

7.4.2SVM的对偶形式128

7.4.3优的b值与支持向量129

7.4.4同时考虑原始形式与对偶形式131

7.5向线性不可分问题和多类问题的扩展131

7.5.1不可分问题的线性分类器132

7.5.2多类SVM134

7.6核SVM134

7.6.1核技巧135

7.6.2Mercer条件与特征映射136

7.6.3流行的核函数与超参数137

7.6.4SVM的复杂度、权衡及其他138

7.7阅读材料139

习题139

第8章概率方法144

8.1思考问题的概率路线144

8.1.1术语144

8.1.2分布与推断145

8.1.3贝叶斯定理145

8.2各种选择146

8.2.1生成式模型vs.判别式模型146

8.2.2参数化vs.非参数化147

8.2.3该如何看待一个参数呢?148

8.3参数化估计148

8.3.1似然148

8.3.2后验150

8.3.3贝叶斯151

8.4非参数化估计153

8.4.1一个一维的例子153

8.4.2直方图近似中存在的问题155

8.4.3让你的样本无远弗届156

8.4.4核密度估计157

8.4.5带宽选择158

8.4.6多变量KDE158

8.5做出决策159

8.6阅读材料159

习题160

第9章距离度量与数据变换163

9.1距离度量和相似度度量163

9.1.1距离度量164

9.1.2向量范数和度量164

9.1.3lp范数和lp度量165

9.1.4距离度量学习167

9.1.5均值作为一种相似度度量168

9.1.6幂平均核170

9.2数据变换和规范化171

9.2.1线性回归172

9.2.2特征规范化173

9.2.3数据变换175

9.3阅读材料177

习题177

0章信息论和决策树182

10.1前缀码和霍夫曼树182

10.2信息论基础183

10.2.1熵和不确定性184

10.2.2联合和条件熵184

10.2.3互信息和相对熵185

10.2.4一些不等式186

10.2.5离散分布的熵187

10.3连续分布的信息论187

10.3.1微分熵188

10.3.2多元高斯分布的熵189

10.3.3高斯分布是熵分布191

10.4机器学习和模式识别中的信息论192

10.4.1熵192

10.4.2交熵193

10.4.3特征选择194

10.5决策树195

10.5.1异或问题及其决策树模型195

10.5.2基于信息增益的结点划分197

10.6阅读材料198

习题199

第四部分处理变化多端的数据203

1章稀疏数据和未对齐数据204

11.1稀疏机器学习204

11.1.1稀疏PCA?204

11.1.2使用l1范数诱导稀疏性205

11.1.3使用过完备的字典208

11.1.4其他一些相关的话题210

11.2动态时间规整212

11.2.1未对齐的时序数据212

11.2.2思路（或准则）213

11.2.3可视化和形式化214

11.2.4动态规划215

11.3阅读材料218

习题218

2章隐马尔可夫模型222

12.1时序数据与马尔可夫性质222

12.1.1各种各样的时序数据和模型222

12.1.2马尔可夫性质224

12.1.3离散时间马尔可夫链225

12.1.4隐马尔可夫模型227

12.2HMM学习中的三个基本问题228

12.3α、β和评估问题229

12.3.1前向变量和算法230

12.3.2后向变量和算法231

12.4γ、δ、ψ和解码问题234

12.4.1γ和独立解码的优状态234

12.4.2δ、ψ和联合解码的优状态235

12.5ξ和HMM参数的学习237

12.5.1Baum-Welch：以期望比例来更新?238

12.5.2如何计算ξ238

12.6阅读材料240

习题241

第五部分高阶课题245

3章正态分布246

13.1定义246

13.1.1单变量正态分布246

13.1.2多元正态分布247

13.2符号和参数化形式248

13.3线性运算与求和249

13.3.1单变量的情形249

13.3.2多变量的情形250

13.4几何和马氏距离251

13.5条件作用252

13.6高斯分布的乘积253

13.7应用Ⅰ：参数估计254

13.7.1似然估计254

13.7.2贝叶斯参数估计255

13.8应用Ⅱ：卡尔曼滤波256

13.8.1模型256

13.8.2估计257

13.9在本章中有用的数学258

13.9.1高斯积分258

13.9.2特征函数259

13.9.3舒尔补&矩阵求逆引理260

13.9.4向量和矩阵导数262

习题263

4章EM算法的基本思想266

14.1GMM：一个工作实例266

14.1.1高斯混合模型266

14.1.2基于隐变量的诠释.267

14.1.3假若我们能观测到隐变量,那会怎样?268

14.1.4我们可以模仿先知吗?269

14.2EM算法的非正式描述270

14.3期望化算法270

14.3.1联合非凹的不完整数据对数似然271

14.3.2(可能是)凹的完整数据对数似然271

14.3.3通用EM的推导272

14.3.4E步和M步274

14.3.5EM算法275

14.3.6EM能收敛吗?275

14.4EM用于GMM276

14.5阅读材料279

习题279

5章卷积神经网络281

15.1预备知识281

15.1.1张量和向量化282

15.1.2向量微积分和链式法则283

15.2CNN概览283

15.2.1结构283

15.2.2前向运行285

15.2.3随机梯度下降285

15.2.4误差反向传播286

15.3层的输入、输出和符号287

15.4ReLU层288

15.5卷积层290

15.5.1什么是卷积?290

15.5.2为什么要进行卷积?291

15.5.3卷积作为矩阵乘法293

15.5.4克罗内克积295

15.5.5反向传播：更新参数296

15.5.6更高维的指示矩阵297

15.5.7反向传播：为前一层准备监督信号298

15.5.8用卷积层实现全连接层300

15.6汇合层301

15.7案例分析：VGG-16网络303

15.7.1VGG-Verydeep-16303

15.7.2感受野304

15.8CNN的亲身体验305

15.9阅读材料305

习题305

参考文献309

英文索引325

中文索引332

内容虚线

内容简介

本书是模式识别领域的入门教材，系统阐述了模式识别中的基础知识、主要模型及热门应用，并给出了近年来本领域一些新的成果和观点；通过理论学习和动手实践相结合的形式使初学者能有效入门，并培养独立解决任务的能力，为模式识别的项目开发及相关科研活动打好基础。

全书共15章，大致分为五部分：分（~4章）介绍了本书的概论和基础知识，包括绪论、数学背景知识、模式识别系统概述以及评估；第二部分（第5~6章）介绍了与领域知识无关的特征提取，包括主成分分析和Fisher线性判别；第三部分（第7~10章）介绍了分类器与其他工具，包括支持向量机、概率方法、距离度量与数据变换、信息论和决策树；第四部分（1~12章）介绍了如何处理变化多端的数据，包括稀疏数据和未对齐数据、隐马尔可夫模型；第五部分（3~15章）介绍了一些高阶课题，包括正态分布、EM算法和卷积神经网络。