具体描述
The book is suitable for courses on machine learning, statistics, computer science, signal processing, computer vision, data mining, and bioinformatics. Extensive support is provided for course instructors, including more than 400 exercises, graded according to difficulty. Example solutions for a subset of the exercises are available from the book web site, while solutions for the remainder can be obtained by instructors from the publisher. The book is supported by a great deal of additional material, and the reader is encouraged to visit the book web site for the latest information.
《经典物理学前沿：从量子场论到宇宙学》 导言：现代物理学的宏伟蓝图 本书旨在全面、深入地探讨当代物理学中最具活力和革命性的领域，涵盖了从微观世界的量子现象到宏观宇宙的演化规律。我们致力于构建一个连贯的知识体系，将量子场论的深刻洞察与广义相对论的几何描述无缝衔接，并通过对前沿实验观测的分析，勾勒出我们对物质、时空和宇宙本质的最新理解。本书不仅是对现有知识的梳理，更是对未来物理学研究方向的指引。 第一部分：量子场论的基石与深化 第一章：重温经典场论与量子化的必然性 本章将从经典电动力学和相对论性力学出发，系统地回顾拉格朗日和哈密顿力学的框架。重点探讨在面对狭义相对论的要求时，经典场论所面临的内在矛盾，尤其是对因果律的维护需求。随后，我们将引入正则量子化方法，详细阐述如何将经典场提升为量子算符，并详细推导自由标量场、狄拉克旋量场和电磁场的量子化过程。我们将深入剖析量子场的零点能问题及其在物理图像中的初步意义。 第二章：微扰论与费曼图 相互作用的引入是量子场论的精髓所在。本章将聚焦于微扰论，这是处理相互作用的基石工具。我们将详细介绍S矩阵的展开、微分散射截面的计算，并系统地构建费曼图规则。费曼图不仅是计算工具，更是理解粒子间相互作用拓扑结构的直观语言。我们将用费曼图详细解析量子电动力学（QED）中的一阶和二阶散射过程，如电子-电子散射（Bhabha散射）和光子产生等。 第三章：重整化——理论的自洽性与精确性 在计算高阶微扰修正时，不可避免地会遇到无穷大的发散问题。本章将深入探讨这些发散的物理起源，并详细阐述重整化理论的数学结构和物理哲学。我们将区分紫外和红外发散，并重点讲解如何通过“截断”和“最小物理”方案来系统地消除这些无穷大，从而得到有意义的、可与实验精确比较的物理量（如电子的异常磁矩）。本章还将触及有效场论（EFT）的概念，说明重整化群（RG）流的意义，即物理定律如何随观测尺度的变化而变化。 第四章：规范场论与标准模型 规范对称性是现代物理学中最强大的设计原则。本章将从U(1)对称性（QED）扩展到非阿贝尔群SU(2)和SU(3)。我们将详细推导杨-米尔斯理论的拉格朗日量，解释规范玻色子（胶子和W/Z玻色子）的引入。随后，我们将构建完整的粒子物理学标准模型，解释自发对称性破缺（希格斯机制）如何赋予规范玻色子和费米子质量，同时保持理论的规范不变性。标准模型在描述强相互作用（QCD）中的渐近自由特性也将被深入讨论。 第二部分：引力、时空与宇宙学 第五章：广义相对论的几何基础 本部分将转向引力理论，从爱因斯坦的等效原理出发，构建广义相对论（GR）的几何框架。我们将详细讨论黎曼几何的基本概念，如协变导数、黎曼曲率张量和里奇张量。重点在于推导爱因斯坦场方程，阐释物质能量如何决定时空的曲率。我们将解析史瓦西解，探讨黑洞的事件视界和奇点，并引入克尔度规来描述旋转黑洞的物理性质。 第六章：从观测到宇宙学模型 本章将把GR应用于整个宇宙。我们将讨论弗里德曼-勒梅特-罗伯逊-沃尔克（FLRW）度规，并推导出描述宇宙膨胀动力学的弗里德曼方程。我们将系统回顾宇宙学观测证据，包括宇宙微波背景辐射（CMB）的偶极各向异性、大爆炸核合成（BBN）的丰度预测，以及星系红移与距离关系。通过对比这些观测数据，我们将评估当前ΛCDM模型的成功之处与局限性。 第七章：暗物质与暗能量的挑战 标准宇宙学模型依赖于两种未被直接探测到的组分：暗物质和暗能量。本章将详细考察暗物质的间接证据，包括星系旋转曲线、引力透镜效应和星系团的动力学。我们将讨论候选的暗物质粒子模型，如WIMPs和轴子。对于暗能量，我们将分析宇宙加速膨胀的观测证据，并探讨其本质的几种可能性，从宇宙学常数到动态的标量场（如第五元素）。 第八章：量子引力：探索的边界 本章将讨论将量子理论与广义相对论统一的迫切需求，尤其是在黑洞视界和宇宙早期等强引力区域。我们将概述当前主要的量子引力研究路径，包括弦理论（作为统一理论的框架）和圈量子引力（LQG，作为对时空进行离散化的尝试）。我们还将探讨霍金辐射的半经典推导、信息悖论的最新进展，以及“宇宙学虫洞”和“量子泡沫”等前沿概念，指明下一代物理学家可能探索的方向。 结论：未竟的探索 本书的结论将总结现代物理学在粒子物理和宇宙学领域的辉煌成就，并强调当前存在的重大未解难题，例如大统一理论（GUT）的实现、中微子质量的起源、以及量子引力理论的实验可检验性。我们将展望未来实验设施（如下一代对撞机和空间望远镜）可能带来的突破，激发读者对探索自然终极规律的热情。本书结构严谨，推导详尽，旨在为物理学高年级本科生、研究生以及研究人员提供一本不可或缺的参考著作。
作者简介
Christopher M. Bishop is Deputy Director of Microsoft Research Cambridge, and holds a Chair in Computer Science at the University of Edinburgh. He is a Fellow of Darwin College Cambridge, a Fellow of the Royal Academy of Engineering, and a Fellow of the Royal Society of Edinburgh. His previous textbook "Neural Networks for Pattern Recognition" has been widely adopted.
目录信息
1 Introduction 1
1.1 Example: Polynomial Curve Fitting . . . . . . . . . . . . . . . . . 4
1.2 Probability Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.1 Probability densities . . . . . . . . . . . . . . . . . . . . . 17
1.2.2 Expectations and covariances . . . . . . . . . . . . . . . . 19
1.2.3 Bayesian probabilities . . . . . . . . . . . . . . . . . . . . 21
1.2.4 The Gaussian distribution . . . . . . . . . . . . . . . . . . 24
1.2.5 Curve fitting re-visited . . . . . . . . . . . . . . . . . . . . 28
1.2.6 Bayesian curve fitting . . . . . . . . . . . . . . . . . . . . 30
1.3 Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.4 The Curse of Dimensionality . . . . . . . . . . . . . . . . . . . . . 33
1.5 Decision Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.5.1 Minimizing the misclassification rate . . . . . . . . . . . . 39
1.5.2 Minimizing the expected loss . . . . . . . . . . . . . . . . 41
1.5.3 The reject option . . . . . . . . . . . . . . . . . . . . . . . 42
1.5.4 Inference and decision . . . . . . . . . . . . . . . . . . . . 42
1.5.5 Loss functions for regression . . . . . . . . . . . . . . . . . 46
1.6 Information Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 48
1.6.1 Relative entropy and mutual information . . . . . . . . . . 55
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2 Probability Distributions 67
2.1 Binary Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
2.1.1 The beta distribution . . . . . . . . . . . . . . . . . . . . . 71
2.2 Multinomial Variables . . . . . . . . . . . . . . . . . . . . . . . . 74
2.2.1 The Dirichlet distribution . . . . . . . . . . . . . . . . . . . 76
2.3 The Gaussian Distribution . . . . . . . . . . . . . . . . . . . . . . 78
2.3.1 Conditional Gaussian distributions . . . . . . . . . . . . . . 85
2.3.2 Marginal Gaussian distributions . . . . . . . . . . . . . . . 88
2.3.3 Bayes’ theorem for Gaussian variables . . . . . . . . . . . . 90
2.3.4 Maximum likelihood for the Gaussian . . . . . . . . . . . . 93
2.3.5 Sequential estimation . . . . . . . . . . . . . . . . . . . . . 94
2.3.6 Bayesian inference for the Gaussian . . . . . . . . . . . . . 97
2.3.7 Student’s t-distribution . . . . . . . . . . . . . . . . . . . . 102
2.3.8 Periodic variables . . . . . . . . . . . . . . . . . . . . . . . 105
2.3.9 Mixtures of Gaussians . . . . . . . . . . . . . . . . . . . . 110
2.4 The Exponential Family . . . . . . . . . . . . . . . . . . . . . . . 113
2.4.1 Maximum likelihood and sufficient statistics . . . . . . . . 116
2.4.2 Conjugate priors . . . . . . . . . . . . . . . . . . . . . . . 117
2.4.3 Noninformative priors . . . . . . . . . . . . . . . . . . . . 117
2.5 Nonparametric Methods . . . . . . . . . . . . . . . . . . . . . . . 120
2.5.1 Kernel density estimators . . . . . . . . . . . . . . . . . . . 122
2.5.2 Nearest-neighbour methods . . . . . . . . . . . . . . . . . 124
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
3 Linear Models for Regression 137
3.1 Linear Basis Function Models . . . . . . . . . . . . . . . . . . . . 138
3.1.1 Maximum likelihood and least squares . . . . . . . . . . . . 140
3.1.2 Geometry of least squares . . . . . . . . . . . . . . . . . . 143
3.1.3 Sequential learning . . . . . . . . . . . . . . . . . . . . . . 143
3.1.4 Regularized least squares . . . . . . . . . . . . . . . . . . . 144
3.1.5 Multiple outputs . . . . . . . . . . . . . . . . . . . . . . . 146
3.2 The Bias-Variance Decomposition . . . . . . . . . . . . . . . . . . 147
3.3 Bayesian Linear Regression . . . . . . . . . . . . . . . . . . . . . 152
3.3.1 Parameter distribution . . . . . . . . . . . . . . . . . . . . 153
3.3.2 Predictive distribution . . . . . . . . . . . . . . . . . . . . 156
3.3.3 Equivalent kernel . . . . . . . . . . . . . . . . . . . . . . . 157
3.4 Bayesian Model Comparison . . . . . . . . . . . . . . . . . . . . . 161
3.5 The Evidence Approximation . . . . . . . . . . . . . . . . . . . . 165
3.5.1 Evaluation of the evidence function . . . . . . . . . . . . . 166
3.5.2 Maximizing the evidence function . . . . . . . . . . . . . . 168
3.5.3 Effective number of parameters . . . . . . . . . . . . . . . 170
3.6 Limitations of Fixed Basis Functions . . . . . . . . . . . . . . . . 172
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
4 Linear Models for Classification 179
4.1 Discriminant Functions . . . . . . . . . . . . . . . . . . . . . . . . 181
4.1.1 Two classes . . . . . . . . . . . . . . . . . . . . . . . . . . 181
4.1.2 Multiple classes . . . . . . . . . . . . . . . . . . . . . . . . 182
4.1.3 Least squares for classification . . . . . . . . . . . . . . . . 184
4.1.4 Fisher’s linear discriminant . . . . . . . . . . . . . . . . . . 186
4.1.5 Relation to least squares . . . . . . . . . . . . . . . . . . . 189
4.1.6 Fisher’s discriminant for multiple classes . . . . . . . . . . 191
4.1.7 The perceptron algorithm . . . . . . . . . . . . . . . . . . . 192
4.2 Probabilistic Generative Models . . . . . . . . . . . . . . . . . . . 196
4.2.1 Continuous inputs . . . . . . . . . . . . . . . . . . . . . . 198
4.2.2 Maximum likelihood solution . . . . . . . . . . . . . . . . 200
4.2.3 Discrete features . . . . . . . . . . . . . . . . . . . . . . . 202
4.2.4 Exponential family . . . . . . . . . . . . . . . . . . . . . . 202
4.3 Probabilistic Discriminative Models . . . . . . . . . . . . . . . . . 203
4.3.1 Fixed basis functions . . . . . . . . . . . . . . . . . . . . . 204
4.3.2 Logistic regression . . . . . . . . . . . . . . . . . . . . . . 205
4.3.3 Iterative reweighted least squares . . . . . . . . . . . . . . 207
4.3.4 Multiclass logistic regression . . . . . . . . . . . . . . . . . 209
4.3.5 Probit regression . . . . . . . . . . . . . . . . . . . . . . . 210
4.3.6 Canonical link functions . . . . . . . . . . . . . . . . . . . 212
4.4 The Laplace Approximation . . . . . . . . . . . . . . . . . . . . . 213
4.4.1 Model comparison and BIC . . . . . . . . . . . . . . . . . 216
4.5 Bayesian Logistic Regression . . . . . . . . . . . . . . . . . . . . 217
4.5.1 Laplace approximation . . . . . . . . . . . . . . . . . . . . 217
4.5.2 Predictive distribution . . . . . . . . . . . . . . . . . . . . 218
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
5 Neural Networks 225
5.1 Feed-forward Network Functions . . . . . . . . . . . . . . . . . . 227
5.1.1 Weight-space symmetries . . . . . . . . . . . . . . . . . . 231
5.2 Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
5.2.1 Parameter optimization . . . . . . . . . . . . . . . . . . . . 236
5.2.2 Local quadratic approximation . . . . . . . . . . . . . . . . 237
5.2.3 Use of gradient information . . . . . . . . . . . . . . . . . 239
5.2.4 Gradient descent optimization . . . . . . . . . . . . . . . . 240
5.3 Error Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . 241
5.3.1 Evaluation of error-function derivatives . . . . . . . . . . . 242
5.3.2 A simple example . . . . . . . . . . . . . . . . . . . . . . 245
5.3.3 Efficiency of backpropagation . . . . . . . . . . . . . . . . 246
5.3.4 The Jacobian matrix . . . . . . . . . . . . . . . . . . . . . 247
5.4 The Hessian Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 249
5.4.1 Diagonal approximation . . . . . . . . . . . . . . . . . . . 250
5.4.2 Outer product approximation . . . . . . . . . . . . . . . . . 251
5.4.3 Inverse Hessian . . . . . . . . . . . . . . . . . . . . . . . . 252
5.4.4 Finite differences . . . . . . . . . . . . . . . . . . . . . . . 252
5.4.5 Exact evaluation of the Hessian . . . . . . . . . . . . . . . 253
5.4.6 Fast multiplication by the Hessian . . . . . . . . . . . . . . 254
5.5 Regularization in Neural Networks . . . . . . . . . . . . . . . . . 256
5.5.1 Consistent Gaussian priors . . . . . . . . . . . . . . . . . . 257
5.5.2 Early stopping . . . . . . . . . . . . . . . . . . . . . . . . 259
5.5.3 Invariances . . . . . . . . . . . . . . . . . . . . . . . . . . 261
5.5.4 Tangent propagation . . . . . . . . . . . . . . . . . . . . . 263
5.5.5 Training with transformed data . . . . . . . . . . . . . . . . 265
5.5.6 Convolutional networks . . . . . . . . . . . . . . . . . . . 267
5.5.7 Soft weight sharing . . . . . . . . . . . . . . . . . . . . . . 269
5.6 Mixture Density Networks . . . . . . . . . . . . . . . . . . . . . . 272
5.7 Bayesian Neural Networks . . . . . . . . . . . . . . . . . . . . . . 277
5.7.1 Posterior parameter distribution . . . . . . . . . . . . . . . 278
5.7.2 Hyperparameter optimization . . . . . . . . . . . . . . . . 280
5.7.3 Bayesian neural networks for classification . . . . . . . . . 281
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
6 Kernel Methods 291
6.1 Dual Representations . . . . . . . . . . . . . . . . . . . . . . . . . 293
6.2 Constructing Kernels . . . . . . . . . . . . . . . . . . . . . . . . . 294
6.3 Radial Basis Function Networks . . . . . . . . . . . . . . . . . . . 299
6.3.1 Nadaraya-Watson model . . . . . . . . . . . . . . . . . . . 301
6.4 Gaussian Processes . . . . . . . . . . . . . . . . . . . . . . . . . . 303
6.4.1 Linear regression revisited . . . . . . . . . . . . . . . . . . 304
6.4.2 Gaussian processes for regression . . . . . . . . . . . . . . 306
6.4.3 Learning the hyperparameters . . . . . . . . . . . . . . . . 311
6.4.4 Automatic relevance determination . . . . . . . . . . . . . 312
6.4.5 Gaussian processes for classification . . . . . . . . . . . . . 313
6.4.6 Laplace approximation . . . . . . . . . . . . . . . . . . . . 315
6.4.7 Connection to neural networks . . . . . . . . . . . . . . . . 319
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
7 Sparse Kernel Machines 325
7.1 Maximum Margin Classifiers . . . . . . . . . . . . . . . . . . . . 326
7.1.1 Overlapping class distributions . . . . . . . . . . . . . . . . 331
7.1.2 Relation to logistic regression . . . . . . . . . . . . . . . . 336
7.1.3 Multiclass SVMs . . . . . . . . . . . . . . . . . . . . . . . 338
7.1.4 SVMs for regression . . . . . . . . . . . . . . . . . . . . . 339
7.1.5 Computational learning theory . . . . . . . . . . . . . . . . 344
7.2 Relevance Vector Machines . . . . . . . . . . . . . . . . . . . . . 345
7.2.1 RVM for regression . . . . . . . . . . . . . . . . . . . . . . 345
7.2.2 Analysis of sparsity . . . . . . . . . . . . . . . . . . . . . . 349
7.2.3 RVM for classification . . . . . . . . . . . . . . . . . . . . 353
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357
8 Graphical Models 359
8.1 Bayesian Networks . . . . . . . . . . . . . . . . . . . . . . . . . . 360
8.1.1 Example: Polynomial regression . . . . . . . . . . . . . . . 362
8.1.2 Generative models . . . . . . . . . . . . . . . . . . . . . . 365
8.1.3 Discrete variables . . . . . . . . . . . . . . . . . . . . . . . 366
8.1.4 Linear-Gaussian models . . . . . . . . . . . . . . . . . . . 370
8.2 Conditional Independence . . . . . . . . . . . . . . . . . . . . . . 372
8.2.1 Three example graphs . . . . . . . . . . . . . . . . . . . . 373
8.2.2 D-separation . . . . . . . . . . . . . . . . . . . . . . . . . 378
8.3 Markov Random Fields . . . . . . . . . . . . . . . . . . . . . . . 383
8.3.1 Conditional independence properties . . . . . . . . . . . . . 383
8.3.2 Factorization properties . . . . . . . . . . . . . . . . . . . 384
8.3.3 Illustration: Image de-noising . . . . . . . . . . . . . . . . 387
8.3.4 Relation to directed graphs . . . . . . . . . . . . . . . . . . 390
8.4 Inference in Graphical Models . . . . . . . . . . . . . . . . . . . . 393
8.4.1 Inference on a chain . . . . . . . . . . . . . . . . . . . . . 394
8.4.2 Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
8.4.3 Factor graphs . . . . . . . . . . . . . . . . . . . . . . . . . 399
8.4.4 The sum-product algorithm . . . . . . . . . . . . . . . . . . 402
8.4.5 The max-sum algorithm . . . . . . . . . . . . . . . . . . . 411
8.4.6 Exact inference in general graphs . . . . . . . . . . . . . . 416
8.4.7 Loopy belief propagation . . . . . . . . . . . . . . . . . . . 417
8.4.8 Learning the graph structure . . . . . . . . . . . . . . . . . 418
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418
9 Mixture Models and EM 423
9.1 K-means Clustering . . . . . . . . . . . . . . . . . . . . . . . . . 424
9.1.1 Image segmentation and compression . . . . . . . . . . . . 428
9.2 Mixtures of Gaussians . . . . . . . . . . . . . . . . . . . . . . . . 430
9.2.1 Maximum likelihood . . . . . . . . . . . . . . . . . . . . . 432
9.2.2 EM for Gaussian mixtures . . . . . . . . . . . . . . . . . . 435
9.3 An Alternative View of EM . . . . . . . . . . . . . . . . . . . . . 439
9.3.1 Gaussian mixtures revisited . . . . . . . . . . . . . . . . . 441
9.3.2 Relation to K-means . . . . . . . . . . . . . . . . . . . . . 443
9.3.3 Mixtures of Bernoulli distributions . . . . . . . . . . . . . . 444
9.3.4 EM for Bayesian linear regression . . . . . . . . . . . . . . 448
9.4 The EM Algorithm in General . . . . . . . . . . . . . . . . . . . . 450
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
10 Approximate Inference 461
10.1 Variational Inference . . . . . . . . . . . . . . . . . . . . . . . . . 462
10.1.1 Factorized distributions . . . . . . . . . . . . . . . . . . . . 464
10.1.2 Properties of factorized approximations . . . . . . . . . . . 466
10.1.3 Example: The univariate Gaussian . . . . . . . . . . . . . . 470
10.1.4 Model comparison . . . . . . . . . . . . . . . . . . . . . . 473
10.2 Illustration: Variational Mixture of Gaussians . . . . . . . . . . . . 474
10.2.1 Variational distribution . . . . . . . . . . . . . . . . . . . . 475
10.2.2 Variational lower bound . . . . . . . . . . . . . . . . . . . 481
10.2.3 Predictive density . . . . . . . . . . . . . . . . . . . . . . . 482
10.2.4 Determining the number of components . . . . . . . . . . . 483
10.2.5 Induced factorizations . . . . . . . . . . . . . . . . . . . . 485
10.3 Variational Linear Regression . . . . . . . . . . . . . . . . . . . . 486
10.3.1 Variational distribution . . . . . . . . . . . . . . . . . . . . 486
10.3.2 Predictive distribution . . . . . . . . . . . . . . . . . . . . 488
10.3.3 Lower bound . . . . . . . . . . . . . . . . . . . . . . . . . 489
10.4 Exponential Family Distributions . . . . . . . . . . . . . . . . . . 490
10.4.1 Variational message passing . . . . . . . . . . . . . . . . . 491
10.5 Local Variational Methods . . . . . . . . . . . . . . . . . . . . . . 493
10.6 Variational Logistic Regression . . . . . . . . . . . . . . . . . . . 498
10.6.1 Variational posterior distribution . . . . . . . . . . . . . . . 498
10.6.2 Optimizing the variational parameters . . . . . . . . . . . . 500
10.6.3 Inference of hyperparameters . . . . . . . . . . . . . . . . 502
10.7 Expectation Propagation . . . . . . . . . . . . . . . . . . . . . . . 505
10.7.1 Example: The clutter problem . . . . . . . . . . . . . . . . 511
10.7.2 Expectation propagation on graphs . . . . . . . . . . . . . . 513
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517
11 Sampling Methods 523
11.1 Basic Sampling Algorithms . . . . . . . . . . . . . . . . . . . . . 526
11.1.1 Standard distributions . . . . . . . . . . . . . . . . . . . . 526
11.1.2 Rejection sampling . . . . . . . . . . . . . . . . . . . . . . 528
11.1.3 Adaptive rejection sampling . . . . . . . . . . . . . . . . . 530
11.1.4 Importance sampling . . . . . . . . . . . . . . . . . . . . . 532
11.1.5 Sampling-importance-resampling . . . . . . . . . . . . . . 534
11.1.6 Sampling and the EM algorithm . . . . . . . . . . . . . . . 536
11.2 Markov Chain Monte Carlo . . . . . . . . . . . . . . . . . . . . . 537
11.2.1 Markov chains . . . . . . . . . . . . . . . . . . . . . . . . 539
11.2.2 The Metropolis-Hastings algorithm . . . . . . . . . . . . . 541
11.3 Gibbs Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . 542
11.4 Slice Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . 546
11.5 The Hybrid Monte Carlo Algorithm . . . . . . . . . . . . . . . . . 548
11.5.1 Dynamical systems . . . . . . . . . . . . . . . . . . . . . . 548
11.5.2 Hybrid Monte Carlo . . . . . . . . . . . . . . . . . . . . . 552
11.6 Estimating the Partition Function . . . . . . . . . . . . . . . . . . 554
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556
12 Continuous Latent Variables 559
12.1 Principal Component Analysis . . . . . . . . . . . . . . . . . . . . 561
12.1.1 Maximum variance formulation . . . . . . . . . . . . . . . 561
12.1.2 Minimum-error formulation . . . . . . . . . . . . . . . . . 563
12.1.3 Applications of PCA . . . . . . . . . . . . . . . . . . . . . 565
12.1.4 PCA for high-dimensional data . . . . . . . . . . . . . . . 569
12.2 Probabilistic PCA . . . . . . . . . . . . . . . . . . . . . . . . . . 570
12.2.1 Maximum likelihood PCA . . . . . . . . . . . . . . . . . . 574
12.2.2 EM algorithm for PCA . . . . . . . . . . . . . . . . . . . . 577
12.2.3 Bayesian PCA . . . . . . . . . . . . . . . . . . . . . . . . 580
12.2.4 Factor analysis . . . . . . . . . . . . . . . . . . . . . . . . 583
12.3 Kernel PCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586
12.4 Nonlinear Latent Variable Models . . . . . . . . . . . . . . . . . . 591
12.4.1 Independent component analysis . . . . . . . . . . . . . . . 591
12.4.2 Autoassociative neural networks . . . . . . . . . . . . . . . 592
12.4.3 Modelling nonlinear manifolds . . . . . . . . . . . . . . . . 595
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599
13 Sequential Data 605
13.1 Markov Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 607
13.2 Hidden Markov Models . . . . . . . . . . . . . . . . . . . . . . . 610
13.2.1 Maximum likelihood for the HMM . . . . . . . . . . . . . 615
13.2.2 The forward-backward algorithm . . . . . . . . . . . . . . 618
13.2.3 The sum-product algorithm for the HMM . . . . . . . . . . 625
13.2.4 Scaling factors . . . . . . . . . . . . . . . . . . . . . . . . 627
13.2.5 The Viterbi algorithm . . . . . . . . . . . . . . . . . . . . . 629
13.2.6 Extensions of the hidden Markov model . . . . . . . . . . . 631
13.3 Linear Dynamical Systems . . . . . . . . . . . . . . . . . . . . . . 635
13.3.1 Inference in LDS . . . . . . . . . . . . . . . . . . . . . . . 638
13.3.2 Learning in LDS . . . . . . . . . . . . . . . . . . . . . . . 642
13.3.3 Extensions of LDS . . . . . . . . . . . . . . . . . . . . . . 644
13.3.4 Particle filters . . . . . . . . . . . . . . . . . . . . . . . . . 645
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646
14 Combining Models 653
14.1 Bayesian Model Averaging . . . . . . . . . . . . . . . . . . . . . . 654
14.2 Committees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655
14.3 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657
14.3.1 Minimizing exponential error . . . . . . . . . . . . . . . . 659
14.3.2 Error functions for boosting . . . . . . . . . . . . . . . . . 661
14.4 Tree-based Models . . . . . . . . . . . . . . . . . . . . . . . . . . 663
14.5 Conditional Mixture Models . . . . . . . . . . . . . . . . . . . . . 666
14.5.1 Mixtures of linear regression models . . . . . . . . . . . . . 667
14.5.2 Mixtures of logistic models . . . . . . . . . . . . . . . . . 670
14.5.3 Mixtures of experts . . . . . . . . . . . . . . . . . . . . . . 672
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674
Appendix A Data Sets 677
Appendix B Probability Distributions 685
Appendix C Properties of Matrices 695
Appendix D Calculus of Variations 703
Appendix E LagrangeMultipliers 707
References 711
· · · · · · (收起)
1.1 Example: Polynomial Curve Fitting . . . . . . . . . . . . . . . . . 4
1.2 Probability Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.1 Probability densities . . . . . . . . . . . . . . . . . . . . . 17
1.2.2 Expectations and covariances . . . . . . . . . . . . . . . . 19
1.2.3 Bayesian probabilities . . . . . . . . . . . . . . . . . . . . 21
1.2.4 The Gaussian distribution . . . . . . . . . . . . . . . . . . 24
1.2.5 Curve fitting re-visited . . . . . . . . . . . . . . . . . . . . 28
1.2.6 Bayesian curve fitting . . . . . . . . . . . . . . . . . . . . 30
1.3 Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.4 The Curse of Dimensionality . . . . . . . . . . . . . . . . . . . . . 33
1.5 Decision Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.5.1 Minimizing the misclassification rate . . . . . . . . . . . . 39
1.5.2 Minimizing the expected loss . . . . . . . . . . . . . . . . 41
1.5.3 The reject option . . . . . . . . . . . . . . . . . . . . . . . 42
1.5.4 Inference and decision . . . . . . . . . . . . . . . . . . . . 42
1.5.5 Loss functions for regression . . . . . . . . . . . . . . . . . 46
1.6 Information Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 48
1.6.1 Relative entropy and mutual information . . . . . . . . . . 55
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2 Probability Distributions 67
2.1 Binary Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
2.1.1 The beta distribution . . . . . . . . . . . . . . . . . . . . . 71
2.2 Multinomial Variables . . . . . . . . . . . . . . . . . . . . . . . . 74
2.2.1 The Dirichlet distribution . . . . . . . . . . . . . . . . . . . 76
2.3 The Gaussian Distribution . . . . . . . . . . . . . . . . . . . . . . 78
2.3.1 Conditional Gaussian distributions . . . . . . . . . . . . . . 85
2.3.2 Marginal Gaussian distributions . . . . . . . . . . . . . . . 88
2.3.3 Bayes’ theorem for Gaussian variables . . . . . . . . . . . . 90
2.3.4 Maximum likelihood for the Gaussian . . . . . . . . . . . . 93
2.3.5 Sequential estimation . . . . . . . . . . . . . . . . . . . . . 94
2.3.6 Bayesian inference for the Gaussian . . . . . . . . . . . . . 97
2.3.7 Student’s t-distribution . . . . . . . . . . . . . . . . . . . . 102
2.3.8 Periodic variables . . . . . . . . . . . . . . . . . . . . . . . 105
2.3.9 Mixtures of Gaussians . . . . . . . . . . . . . . . . . . . . 110
2.4 The Exponential Family . . . . . . . . . . . . . . . . . . . . . . . 113
2.4.1 Maximum likelihood and sufficient statistics . . . . . . . . 116
2.4.2 Conjugate priors . . . . . . . . . . . . . . . . . . . . . . . 117
2.4.3 Noninformative priors . . . . . . . . . . . . . . . . . . . . 117
2.5 Nonparametric Methods . . . . . . . . . . . . . . . . . . . . . . . 120
2.5.1 Kernel density estimators . . . . . . . . . . . . . . . . . . . 122
2.5.2 Nearest-neighbour methods . . . . . . . . . . . . . . . . . 124
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
3 Linear Models for Regression 137
3.1 Linear Basis Function Models . . . . . . . . . . . . . . . . . . . . 138
3.1.1 Maximum likelihood and least squares . . . . . . . . . . . . 140
3.1.2 Geometry of least squares . . . . . . . . . . . . . . . . . . 143
3.1.3 Sequential learning . . . . . . . . . . . . . . . . . . . . . . 143
3.1.4 Regularized least squares . . . . . . . . . . . . . . . . . . . 144
3.1.5 Multiple outputs . . . . . . . . . . . . . . . . . . . . . . . 146
3.2 The Bias-Variance Decomposition . . . . . . . . . . . . . . . . . . 147
3.3 Bayesian Linear Regression . . . . . . . . . . . . . . . . . . . . . 152
3.3.1 Parameter distribution . . . . . . . . . . . . . . . . . . . . 153
3.3.2 Predictive distribution . . . . . . . . . . . . . . . . . . . . 156
3.3.3 Equivalent kernel . . . . . . . . . . . . . . . . . . . . . . . 157
3.4 Bayesian Model Comparison . . . . . . . . . . . . . . . . . . . . . 161
3.5 The Evidence Approximation . . . . . . . . . . . . . . . . . . . . 165
3.5.1 Evaluation of the evidence function . . . . . . . . . . . . . 166
3.5.2 Maximizing the evidence function . . . . . . . . . . . . . . 168
3.5.3 Effective number of parameters . . . . . . . . . . . . . . . 170
3.6 Limitations of Fixed Basis Functions . . . . . . . . . . . . . . . . 172
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
4 Linear Models for Classification 179
4.1 Discriminant Functions . . . . . . . . . . . . . . . . . . . . . . . . 181
4.1.1 Two classes . . . . . . . . . . . . . . . . . . . . . . . . . . 181
4.1.2 Multiple classes . . . . . . . . . . . . . . . . . . . . . . . . 182
4.1.3 Least squares for classification . . . . . . . . . . . . . . . . 184
4.1.4 Fisher’s linear discriminant . . . . . . . . . . . . . . . . . . 186
4.1.5 Relation to least squares . . . . . . . . . . . . . . . . . . . 189
4.1.6 Fisher’s discriminant for multiple classes . . . . . . . . . . 191
4.1.7 The perceptron algorithm . . . . . . . . . . . . . . . . . . . 192
4.2 Probabilistic Generative Models . . . . . . . . . . . . . . . . . . . 196
4.2.1 Continuous inputs . . . . . . . . . . . . . . . . . . . . . . 198
4.2.2 Maximum likelihood solution . . . . . . . . . . . . . . . . 200
4.2.3 Discrete features . . . . . . . . . . . . . . . . . . . . . . . 202
4.2.4 Exponential family . . . . . . . . . . . . . . . . . . . . . . 202
4.3 Probabilistic Discriminative Models . . . . . . . . . . . . . . . . . 203
4.3.1 Fixed basis functions . . . . . . . . . . . . . . . . . . . . . 204
4.3.2 Logistic regression . . . . . . . . . . . . . . . . . . . . . . 205
4.3.3 Iterative reweighted least squares . . . . . . . . . . . . . . 207
4.3.4 Multiclass logistic regression . . . . . . . . . . . . . . . . . 209
4.3.5 Probit regression . . . . . . . . . . . . . . . . . . . . . . . 210
4.3.6 Canonical link functions . . . . . . . . . . . . . . . . . . . 212
4.4 The Laplace Approximation . . . . . . . . . . . . . . . . . . . . . 213
4.4.1 Model comparison and BIC . . . . . . . . . . . . . . . . . 216
4.5 Bayesian Logistic Regression . . . . . . . . . . . . . . . . . . . . 217
4.5.1 Laplace approximation . . . . . . . . . . . . . . . . . . . . 217
4.5.2 Predictive distribution . . . . . . . . . . . . . . . . . . . . 218
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
5 Neural Networks 225
5.1 Feed-forward Network Functions . . . . . . . . . . . . . . . . . . 227
5.1.1 Weight-space symmetries . . . . . . . . . . . . . . . . . . 231
5.2 Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
5.2.1 Parameter optimization . . . . . . . . . . . . . . . . . . . . 236
5.2.2 Local quadratic approximation . . . . . . . . . . . . . . . . 237
5.2.3 Use of gradient information . . . . . . . . . . . . . . . . . 239
5.2.4 Gradient descent optimization . . . . . . . . . . . . . . . . 240
5.3 Error Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . 241
5.3.1 Evaluation of error-function derivatives . . . . . . . . . . . 242
5.3.2 A simple example . . . . . . . . . . . . . . . . . . . . . . 245
5.3.3 Efficiency of backpropagation . . . . . . . . . . . . . . . . 246
5.3.4 The Jacobian matrix . . . . . . . . . . . . . . . . . . . . . 247
5.4 The Hessian Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 249
5.4.1 Diagonal approximation . . . . . . . . . . . . . . . . . . . 250
5.4.2 Outer product approximation . . . . . . . . . . . . . . . . . 251
5.4.3 Inverse Hessian . . . . . . . . . . . . . . . . . . . . . . . . 252
5.4.4 Finite differences . . . . . . . . . . . . . . . . . . . . . . . 252
5.4.5 Exact evaluation of the Hessian . . . . . . . . . . . . . . . 253
5.4.6 Fast multiplication by the Hessian . . . . . . . . . . . . . . 254
5.5 Regularization in Neural Networks . . . . . . . . . . . . . . . . . 256
5.5.1 Consistent Gaussian priors . . . . . . . . . . . . . . . . . . 257
5.5.2 Early stopping . . . . . . . . . . . . . . . . . . . . . . . . 259
5.5.3 Invariances . . . . . . . . . . . . . . . . . . . . . . . . . . 261
5.5.4 Tangent propagation . . . . . . . . . . . . . . . . . . . . . 263
5.5.5 Training with transformed data . . . . . . . . . . . . . . . . 265
5.5.6 Convolutional networks . . . . . . . . . . . . . . . . . . . 267
5.5.7 Soft weight sharing . . . . . . . . . . . . . . . . . . . . . . 269
5.6 Mixture Density Networks . . . . . . . . . . . . . . . . . . . . . . 272
5.7 Bayesian Neural Networks . . . . . . . . . . . . . . . . . . . . . . 277
5.7.1 Posterior parameter distribution . . . . . . . . . . . . . . . 278
5.7.2 Hyperparameter optimization . . . . . . . . . . . . . . . . 280
5.7.3 Bayesian neural networks for classification . . . . . . . . . 281
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
6 Kernel Methods 291
6.1 Dual Representations . . . . . . . . . . . . . . . . . . . . . . . . . 293
6.2 Constructing Kernels . . . . . . . . . . . . . . . . . . . . . . . . . 294
6.3 Radial Basis Function Networks . . . . . . . . . . . . . . . . . . . 299
6.3.1 Nadaraya-Watson model . . . . . . . . . . . . . . . . . . . 301
6.4 Gaussian Processes . . . . . . . . . . . . . . . . . . . . . . . . . . 303
6.4.1 Linear regression revisited . . . . . . . . . . . . . . . . . . 304
6.4.2 Gaussian processes for regression . . . . . . . . . . . . . . 306
6.4.3 Learning the hyperparameters . . . . . . . . . . . . . . . . 311
6.4.4 Automatic relevance determination . . . . . . . . . . . . . 312
6.4.5 Gaussian processes for classification . . . . . . . . . . . . . 313
6.4.6 Laplace approximation . . . . . . . . . . . . . . . . . . . . 315
6.4.7 Connection to neural networks . . . . . . . . . . . . . . . . 319
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
7 Sparse Kernel Machines 325
7.1 Maximum Margin Classifiers . . . . . . . . . . . . . . . . . . . . 326
7.1.1 Overlapping class distributions . . . . . . . . . . . . . . . . 331
7.1.2 Relation to logistic regression . . . . . . . . . . . . . . . . 336
7.1.3 Multiclass SVMs . . . . . . . . . . . . . . . . . . . . . . . 338
7.1.4 SVMs for regression . . . . . . . . . . . . . . . . . . . . . 339
7.1.5 Computational learning theory . . . . . . . . . . . . . . . . 344
7.2 Relevance Vector Machines . . . . . . . . . . . . . . . . . . . . . 345
7.2.1 RVM for regression . . . . . . . . . . . . . . . . . . . . . . 345
7.2.2 Analysis of sparsity . . . . . . . . . . . . . . . . . . . . . . 349
7.2.3 RVM for classification . . . . . . . . . . . . . . . . . . . . 353
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357
8 Graphical Models 359
8.1 Bayesian Networks . . . . . . . . . . . . . . . . . . . . . . . . . . 360
8.1.1 Example: Polynomial regression . . . . . . . . . . . . . . . 362
8.1.2 Generative models . . . . . . . . . . . . . . . . . . . . . . 365
8.1.3 Discrete variables . . . . . . . . . . . . . . . . . . . . . . . 366
8.1.4 Linear-Gaussian models . . . . . . . . . . . . . . . . . . . 370
8.2 Conditional Independence . . . . . . . . . . . . . . . . . . . . . . 372
8.2.1 Three example graphs . . . . . . . . . . . . . . . . . . . . 373
8.2.2 D-separation . . . . . . . . . . . . . . . . . . . . . . . . . 378
8.3 Markov Random Fields . . . . . . . . . . . . . . . . . . . . . . . 383
8.3.1 Conditional independence properties . . . . . . . . . . . . . 383
8.3.2 Factorization properties . . . . . . . . . . . . . . . . . . . 384
8.3.3 Illustration: Image de-noising . . . . . . . . . . . . . . . . 387
8.3.4 Relation to directed graphs . . . . . . . . . . . . . . . . . . 390
8.4 Inference in Graphical Models . . . . . . . . . . . . . . . . . . . . 393
8.4.1 Inference on a chain . . . . . . . . . . . . . . . . . . . . . 394
8.4.2 Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
8.4.3 Factor graphs . . . . . . . . . . . . . . . . . . . . . . . . . 399
8.4.4 The sum-product algorithm . . . . . . . . . . . . . . . . . . 402
8.4.5 The max-sum algorithm . . . . . . . . . . . . . . . . . . . 411
8.4.6 Exact inference in general graphs . . . . . . . . . . . . . . 416
8.4.7 Loopy belief propagation . . . . . . . . . . . . . . . . . . . 417
8.4.8 Learning the graph structure . . . . . . . . . . . . . . . . . 418
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418
9 Mixture Models and EM 423
9.1 K-means Clustering . . . . . . . . . . . . . . . . . . . . . . . . . 424
9.1.1 Image segmentation and compression . . . . . . . . . . . . 428
9.2 Mixtures of Gaussians . . . . . . . . . . . . . . . . . . . . . . . . 430
9.2.1 Maximum likelihood . . . . . . . . . . . . . . . . . . . . . 432
9.2.2 EM for Gaussian mixtures . . . . . . . . . . . . . . . . . . 435
9.3 An Alternative View of EM . . . . . . . . . . . . . . . . . . . . . 439
9.3.1 Gaussian mixtures revisited . . . . . . . . . . . . . . . . . 441
9.3.2 Relation to K-means . . . . . . . . . . . . . . . . . . . . . 443
9.3.3 Mixtures of Bernoulli distributions . . . . . . . . . . . . . . 444
9.3.4 EM for Bayesian linear regression . . . . . . . . . . . . . . 448
9.4 The EM Algorithm in General . . . . . . . . . . . . . . . . . . . . 450
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
10 Approximate Inference 461
10.1 Variational Inference . . . . . . . . . . . . . . . . . . . . . . . . . 462
10.1.1 Factorized distributions . . . . . . . . . . . . . . . . . . . . 464
10.1.2 Properties of factorized approximations . . . . . . . . . . . 466
10.1.3 Example: The univariate Gaussian . . . . . . . . . . . . . . 470
10.1.4 Model comparison . . . . . . . . . . . . . . . . . . . . . . 473
10.2 Illustration: Variational Mixture of Gaussians . . . . . . . . . . . . 474
10.2.1 Variational distribution . . . . . . . . . . . . . . . . . . . . 475
10.2.2 Variational lower bound . . . . . . . . . . . . . . . . . . . 481
10.2.3 Predictive density . . . . . . . . . . . . . . . . . . . . . . . 482
10.2.4 Determining the number of components . . . . . . . . . . . 483
10.2.5 Induced factorizations . . . . . . . . . . . . . . . . . . . . 485
10.3 Variational Linear Regression . . . . . . . . . . . . . . . . . . . . 486
10.3.1 Variational distribution . . . . . . . . . . . . . . . . . . . . 486
10.3.2 Predictive distribution . . . . . . . . . . . . . . . . . . . . 488
10.3.3 Lower bound . . . . . . . . . . . . . . . . . . . . . . . . . 489
10.4 Exponential Family Distributions . . . . . . . . . . . . . . . . . . 490
10.4.1 Variational message passing . . . . . . . . . . . . . . . . . 491
10.5 Local Variational Methods . . . . . . . . . . . . . . . . . . . . . . 493
10.6 Variational Logistic Regression . . . . . . . . . . . . . . . . . . . 498
10.6.1 Variational posterior distribution . . . . . . . . . . . . . . . 498
10.6.2 Optimizing the variational parameters . . . . . . . . . . . . 500
10.6.3 Inference of hyperparameters . . . . . . . . . . . . . . . . 502
10.7 Expectation Propagation . . . . . . . . . . . . . . . . . . . . . . . 505
10.7.1 Example: The clutter problem . . . . . . . . . . . . . . . . 511
10.7.2 Expectation propagation on graphs . . . . . . . . . . . . . . 513
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517
11 Sampling Methods 523
11.1 Basic Sampling Algorithms . . . . . . . . . . . . . . . . . . . . . 526
11.1.1 Standard distributions . . . . . . . . . . . . . . . . . . . . 526
11.1.2 Rejection sampling . . . . . . . . . . . . . . . . . . . . . . 528
11.1.3 Adaptive rejection sampling . . . . . . . . . . . . . . . . . 530
11.1.4 Importance sampling . . . . . . . . . . . . . . . . . . . . . 532
11.1.5 Sampling-importance-resampling . . . . . . . . . . . . . . 534
11.1.6 Sampling and the EM algorithm . . . . . . . . . . . . . . . 536
11.2 Markov Chain Monte Carlo . . . . . . . . . . . . . . . . . . . . . 537
11.2.1 Markov chains . . . . . . . . . . . . . . . . . . . . . . . . 539
11.2.2 The Metropolis-Hastings algorithm . . . . . . . . . . . . . 541
11.3 Gibbs Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . 542
11.4 Slice Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . 546
11.5 The Hybrid Monte Carlo Algorithm . . . . . . . . . . . . . . . . . 548
11.5.1 Dynamical systems . . . . . . . . . . . . . . . . . . . . . . 548
11.5.2 Hybrid Monte Carlo . . . . . . . . . . . . . . . . . . . . . 552
11.6 Estimating the Partition Function . . . . . . . . . . . . . . . . . . 554
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556
12 Continuous Latent Variables 559
12.1 Principal Component Analysis . . . . . . . . . . . . . . . . . . . . 561
12.1.1 Maximum variance formulation . . . . . . . . . . . . . . . 561
12.1.2 Minimum-error formulation . . . . . . . . . . . . . . . . . 563
12.1.3 Applications of PCA . . . . . . . . . . . . . . . . . . . . . 565
12.1.4 PCA for high-dimensional data . . . . . . . . . . . . . . . 569
12.2 Probabilistic PCA . . . . . . . . . . . . . . . . . . . . . . . . . . 570
12.2.1 Maximum likelihood PCA . . . . . . . . . . . . . . . . . . 574
12.2.2 EM algorithm for PCA . . . . . . . . . . . . . . . . . . . . 577
12.2.3 Bayesian PCA . . . . . . . . . . . . . . . . . . . . . . . . 580
12.2.4 Factor analysis . . . . . . . . . . . . . . . . . . . . . . . . 583
12.3 Kernel PCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586
12.4 Nonlinear Latent Variable Models . . . . . . . . . . . . . . . . . . 591
12.4.1 Independent component analysis . . . . . . . . . . . . . . . 591
12.4.2 Autoassociative neural networks . . . . . . . . . . . . . . . 592
12.4.3 Modelling nonlinear manifolds . . . . . . . . . . . . . . . . 595
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599
13 Sequential Data 605
13.1 Markov Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 607
13.2 Hidden Markov Models . . . . . . . . . . . . . . . . . . . . . . . 610
13.2.1 Maximum likelihood for the HMM . . . . . . . . . . . . . 615
13.2.2 The forward-backward algorithm . . . . . . . . . . . . . . 618
13.2.3 The sum-product algorithm for the HMM . . . . . . . . . . 625
13.2.4 Scaling factors . . . . . . . . . . . . . . . . . . . . . . . . 627
13.2.5 The Viterbi algorithm . . . . . . . . . . . . . . . . . . . . . 629
13.2.6 Extensions of the hidden Markov model . . . . . . . . . . . 631
13.3 Linear Dynamical Systems . . . . . . . . . . . . . . . . . . . . . . 635
13.3.1 Inference in LDS . . . . . . . . . . . . . . . . . . . . . . . 638
13.3.2 Learning in LDS . . . . . . . . . . . . . . . . . . . . . . . 642
13.3.3 Extensions of LDS . . . . . . . . . . . . . . . . . . . . . . 644
13.3.4 Particle filters . . . . . . . . . . . . . . . . . . . . . . . . . 645
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646
14 Combining Models 653
14.1 Bayesian Model Averaging . . . . . . . . . . . . . . . . . . . . . . 654
14.2 Committees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655
14.3 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657
14.3.1 Minimizing exponential error . . . . . . . . . . . . . . . . 659
14.3.2 Error functions for boosting . . . . . . . . . . . . . . . . . 661
14.4 Tree-based Models . . . . . . . . . . . . . . . . . . . . . . . . . . 663
14.5 Conditional Mixture Models . . . . . . . . . . . . . . . . . . . . . 666
14.5.1 Mixtures of linear regression models . . . . . . . . . . . . . 667
14.5.2 Mixtures of logistic models . . . . . . . . . . . . . . . . . 670
14.5.3 Mixtures of experts . . . . . . . . . . . . . . . . . . . . . . 672
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674
Appendix A Data Sets 677
Appendix B Probability Distributions 685
Appendix C Properties of Matrices 695
Appendix D Calculus of Variations 703
Appendix E LagrangeMultipliers 707
References 711
· · · · · · (收起)
读后感
这两天因为读文章的需要，重新翻了翻这本书。觉得@raullew在http://book.douban.com/review/4474434/ 中提到的问题的确是这本书的一个缺陷。 是否真正了解一个东西，不仅取决于你是否了解这个东西的特性，还取决于你能不能把它和相似的东西区分开。比如说，你要学习什么是猫，...
从大四就想看这本书，一直当做宝贝供着。。。。最近才大概翻了一遍，总体评价。。神书无疑。。读一遍感觉不行，我肯定还要读第二遍，因为有些章节还是有难度的。。作者写作功底太好，每个公式解释的都很清楚，看起来毫不费力，也很全面。总之，吐血推荐，不看这本书，别跟我说...
个人认为这是机器学习领域必读的一本书，甚至是目前最好的书。但这本书太过于 Bayesian, 作者对任何算法都试图从概率和 Bayesian 的角度来进行解释。这本书不适合作为第一本教材，因为其为了将书中内容串联起来，忽视了这些内容的本来面貌，我印象比较深刻的地方有：第1.2.5节...
这本书最近开源了: [https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/] 作为上课的教材读的，内容结构上比较全面。从基本的问题出发，对于每一个问题和范式的来由解释得比较详细清楚，也因而显得小章节间的逻辑关系 (有时) 堆得比...
赞扬已经够多了，引用黄亮的话来说下这本书不好的地方。 “这书把machine learning搞得太复杂太琐碎了，而迷失了其数学真意。其数学真意应该是简单统一的几何意义，而不是满屏的公式。另外这书理论深度不够，很多重要但简单的证明没讲. 简言之，这书是电子工程师写的，不是给...
用户评价
这本书真是让我对机器学习的理解进入了一个全新的境界。作者在介绍模型时，非常注重理论与实践的结合。他不仅给出了详细的数学推导，还常常配以直观的图示和简单的例子，帮助读者理解抽象的概念。例如，在讲解神经网络时，作者先从感知机入手，然后逐步介绍多层感知机，以及反向传播算法。整个过程的讲解，非常流畅，让我能够清晰地理解信息如何在网络中传递和学习。此外，作者在讨论深度学习的早期成果时，也对卷积神经网络（CNN）和循环神经网络（RNN）的结构和原理做了深入的阐述，让我对这些在图像和序列数据处理中至关重要的模型有了更全面的认识。
这本书简直是我在机器学习领域的一本“百科全书”。作者在书中对各种降维技术的阐释，让我看到了如何在高维数据中提取有用的信息。从传统的PCA到更具代表性的t-SNE，作者都给出了详实的数学原理和应用场景。我特别欣赏他在讲解t-SNE时，对高维空间数据点之间的相似性如何在低维空间中得以保留的解释。这种对算法细节的深入挖掘，让我能够理解为什么这些降维技术如此有效。此外，书中关于特征选择和特征提取的章节，也为我提供了在实际问题中处理海量特征的宝贵经验。
这本《Pattern Recognition and Machine Learning》真是我通往理解人工智能核心奥秘的一把金钥匙。作者在书中对模型的介绍，绝不仅仅是停留在“是什么”的层面，更是“为什么”以及“如何”的深度解析。比如，在讲解支持向量机（SVM）时，作者花费了大量篇幅去阐述核函数的思想，以及它如何巧妙地将低维不可分的数据映射到高维空间，从而实现线性可分。这个过程的讲解，我感觉比很多其他教材都要来得更清晰、更透彻。他不仅给出了数学公式，更重要的是，他用形象的比喻和生动的图示，让我仿佛亲眼看到了数据在高维空间中的“舞蹈”。此外，书中关于集成学习的章节，对于如何将多个弱学习器融合成一个强学习器，提供了非常详尽的论述，从Bagging到Boosting，再到更复杂的Stacking，作者都给出了详实的理论基础和算法实现细节。读完这部分，我感觉自己对模型融合的理解上升到了一个全新的高度，不再是简单的“堆砌”，而是有策略、有理论依据地构建更强大的模型。
《Pattern Recognition and Machine Learning》这本书，让我对统计学习理论有了更系统的认识。作者在书中对模型复杂度与泛化能力之间关系的探讨，以及如何通过正则化来控制模型复杂度，是我学习过程中非常重要的一课。他清晰地解释了L1和L2正则化的原理，以及它们如何影响模型的解。这让我明白，一个好的模型不仅仅是能够在训练数据上表现出色，更重要的是它能够在未见过的数据上也能表现稳定。书中对PAC（Probably Approximately Correct）学习理论的介绍，虽然有些理论化，但它为理解机器学习算法的学习界限提供了理论基础。
这本书简直是我在机器学习领域遇到的“圣经”！从目录就能感受到作者的野心，涵盖了从基础概率论、统计学到各种复杂的模型，而且每一个概念都讲解得极其透彻。举个例子，在讲到概率分布时，作者不仅仅是列出公式，而是深入剖析了不同分布的生成过程、内在联系以及在实际问题中的应用场景。读到关于贝叶斯定理的部分，我才真正理解了“先验”和“后验”的深刻含义，它不仅仅是数学上的推导，更是一种思维方式的转变，教会我如何在不确定性中做出更明智的决策。书中大量的数学推导过程，虽然一开始会让人望而生畏，但作者的讲解逻辑清晰，步步为营，总能引导读者一步步走向真理。我尤其喜欢作者在介绍模型时，会先从直观的角度解释其原理，然后再进行严谨的数学推导，这种“由浅入深”的方式极大地降低了学习门槛，让我这个初学者也能逐步建立起对复杂模型的信心。
《Pattern Recognition and Machine Learning》这本书，真是一次酣畅淋漓的学习体验。作者对监督学习和无监督学习的划分以及两者之间的联系，给出了非常系统性的梳理。在介绍监督学习时，对于分类和回归问题的不同处理方式，以及各种经典算法的优劣势，都做了详尽的比较。我尤其印象深刻的是关于决策树的部分，作者不仅解释了如何构建一棵决策树，还深入探讨了剪枝技术，以及如何避免过拟合，这让我明白了为什么简单的模型有时候比复杂的模型更具鲁棒性。而在无监督学习方面，聚类算法的讲解，从K-Means到DBSCAN，再到高斯混合模型，作者都通过实际案例，展示了它们在不同数据结构下的适用性。读到关于降维的部分，PCA和t-SNE的介绍，让我看到了如何在高维数据中提取关键信息，这对于理解和可视化数据至关重要。
这本书简直就是为那些渴望深入理解机器学习背后原理的读者量身定做的。作者在书中对各种算法的数学推导，虽然量大，但逻辑严谨，环环相扣，让你在解开一道道数学题的同时，也逐渐领悟了算法的核心思想。我记得在学习隐马尔可夫模型（HMM）时，作者先从马尔可夫链的性质入手，然后逐步引入观测序列，并通过前向算法和后向算法，清晰地解释了如何计算概率以及如何进行模型参数估计。这种循序渐进的讲解方式，让我这个对概率图模型不熟悉的读者，也能够逐步理解其精妙之处。书中关于贝叶斯网络的部分，也让我看到了概率图模型在处理复杂依赖关系方面的强大能力。它不仅仅是数学公式的罗列，更是一种对现实世界复杂性的建模和理解。
这本书是一次令人兴奋的智力冒险。作者在《Pattern Recognition and Machine Learning》中，对各种经典模式识别算法的讲解，如K近邻（KNN）、决策树、朴素贝叶斯等，都深入浅出，既有严谨的数学推导，又不乏生动的比喻和实例。我特别喜欢他对K近邻算法的直观解释，以及它在面对不同距离度量时的表现。在介绍决策树时，他详细阐述了信息增益和基尼指数的概念，以及如何利用它们来选择最优的划分特征。这种对算法背后数学原理的细致讲解，让我能够真正理解算法的工作机制，而不是仅仅停留在“如何使用”的层面。
《Pattern Recognition and Machine Learning》这本书，绝对是我在机器学习道路上遇到的宝藏。作者对模型泛化能力的阐释，让我对“过拟合”和“欠拟合”有了更深刻的认识。他通过各种例子，解释了模型在训练集上表现优异，但在新数据上却表现不佳的原因，并给出了多种避免过拟合的策略，如正则化、交叉验证等。这些方法，不仅仅是理论上的介绍，作者还给出了具体的数学推导和应用场景，让我能够理解它们背后的原理，而不是死记硬背。此外，关于模型评估的章节，对于各种评估指标的解释，以及如何根据具体问题选择合适的指标，也为我提供了宝贵的指导。读完这部分，我感觉自己在评价模型好坏时，不再是凭感觉，而是有了更科学、更客观的依据。
《Pattern Recognition and Machine Learning》这本书，是一本让我受益匪浅的著作。作者在书中对贝叶斯方法和频率学方法的对比，以及各自的优劣势，都做了非常客观和深入的分析。我尤其喜欢作者在介绍贝叶斯推断时，对先验分布选择的重要性以及后验分布的解释。这让我明白，在机器学习模型中，我们不仅仅是在拟合数据，更是在对模型参数的概率分布进行建模。书中关于最大似然估计（MLE）和最大后验估计（MAP）的对比，也让我看到了不同统计学思想在模型参数估计中的应用。这种对不同方法论的深入探讨，让我能够站在更高的角度去理解和选择合适的模型。
这本书06年出了一版 到了17年又出一版 对比时间跨度长达十年的两个版本， 感觉基于统计的机器学习进展不是那么疯狂 = = 不像RDL 基本就不能看书了 看完wiki补一下基础 就要直接看论文了
这本书06年出了一版 到了17年又出一版 对比时间跨度长达十年的两个版本， 感觉基于统计的机器学习进展不是那么疯狂 = = 不像RDL 基本就不能看书了 看完wiki补一下基础 就要直接看论文了
这本书06年出了一版 到了17年又出一版 对比时间跨度长达十年的两个版本， 感觉基于统计的机器学习进展不是那么疯狂 = = 不像RDL 基本就不能看书了 看完wiki补一下基础 就要直接看论文了
这本书06年出了一版 到了17年又出一版 对比时间跨度长达十年的两个版本， 感觉基于统计的机器学习进展不是那么疯狂 = = 不像RDL 基本就不能看书了 看完wiki补一下基础 就要直接看论文了
这本书06年出了一版 到了17年又出一版 对比时间跨度长达十年的两个版本， 感觉基于统计的机器学习进展不是那么疯狂 = = 不像RDL 基本就不能看书了 看完wiki补一下基础 就要直接看论文了
