绪论 1 第1讲 K-means 11 1.1 基本原理 11 1.2 算法改进 13 1.3 仿真实验 16 1.4 算法特点 18 第 2 讲 KNN学习 20 2.1 基本原理 20 2.2 算法改进 23 2.3 仿真实验 24 2.4 算法特点 26 第 3 讲 回归学习 28 3.1 基本原理 28 3.1.1 参数回归 29 3.1.2 非参数回归 30 3.1.3 半参数回归 30 3.2 算法改进 30 3.2.1 线性回归模型 30 3.2.2 多项式回归模型 31 3.2.3 主成分回归模型 32 3.2.4 自回归模型 33 3.2.5 核回归模型 33 3.3 仿真实验 37 3.3.1 回归学习流程 37 3.3.2 基于回归学习的直线边缘提取 37 3.3.3 基于回归学习的图像插值 39 3.4 算法特点 41 第 4 讲 决策树学习 42 4.1 基本原理 42 4.1.1 分类与聚类 42 4.1.2 决策树 43 4.1.3 信息增益的度量标准 43 4.1.4 信息增益度量期望的熵降低 44 4.1.5 悲观错误剪枝PEP 46 4.1.6 基本决策树算法 47 4.2 算法改进 47 4.2.1 ID3算法 47 4.2.2 C4.5算法 48 4.2.3 SLIQ算法 49 4.2.4 SPRINT算法 49 4.3 仿真实验 50 4.3.1 用于学习布尔函数的ID3算法伪代码 50 4.3.2 C4.5算法构造决策树的伪代码 51 4.4 算法特点 53 第 5 讲 Random Forest学习 54 5.1 基本原理 54 5.1.1 决策树 55 5.1.2 Bagging集成学习 55 5.1.3 Random Forest方法 56 5.2 算法改进 57 5.3 仿真实验 58 5.3.1 Random Forest分类与回归流程 58 5.3.2 Forest-RI和Forest-RC 59 5.3.3 基于Random Forest的头部姿态估计 59 5.4 算法特点 60 第 6 讲 贝叶斯学习 62 6.1 基本原理 62 6.2 算法改进 63 6.2.1 朴素贝叶斯模型 63 6.2.2 层级贝叶斯模型 65 6.2.3 增广贝叶斯学习模型 66 6.2.4 基于Boosting技术的朴素贝叶斯模型 66 6.2.5 贝叶斯神经网络模型 66 6.3 仿真实验 66 6.3.1 Learn_Bayse(X,V) 67 6.3.2 Classify_Bayse(X) 67 6.4 算法特点 68 第 7 讲 EM算法 70 7.1 基本原理 70 7.2 算法改进 71 7.2.1 EM算法的快速计算 71 7.2.2 未知分布函数的选取 74 7.2.3 EM算法收敛性的改进 75 7.3 仿真实验 77 7.3.1 EM算法流程 77 7.3.2 EM算法的伪代码 77 7.3.3 EM算法应用——高斯混合模型 77 7.4 算法特点 79 第 8 讲 Adaboost 81 8.1 基本原理 81 8.1.1 Boosting方法 81 8.1.2 Adaboost方法 82 8.2 算法改进 83 8.2.1 权值更新方法的改进 83 8.2.2 Adaboost并行算法 83 8.3 仿真实验 83 8.3.1 Adaboost算法实现流程 83 8.3.2 Adaboost算法示例 84 8.4 算法特点 86 8.4.1 Adaboost算法的优点 86 8.4.2 Adaboost算法的缺点 87 第 9 讲 SVM方法 88 9.1 基本原理 88 9.2 算法改进 90 9.3 仿真实验 94 9.4 算法特点 100 第 10 讲 增强学习 102 10.1 基本原理 102 10.2 算法改进 105 10.2.1 部分感知模型 105 10.2.2 增强学习中的函数估计 105 10.2.3 分层增强学习 106 10.2.4 多Agent增强学习 107 10.3 仿真实验 107 10.4 算法特点 109 第 11 讲 流形学习 111 11.1 算法原理 111 11.1.1 ISOMAP 112 11.1.2 LLE 113 11.1.3 LE 113 11.1.4 HE 115 11.2 算法改进 115 11.2.1 LPP 116 11.2.2 MFA 117 11.3 算法仿真 119 11.4 算法特点 123 第 12 讲 RBF学习 126 12.1 基本原理 126 12.1.1 基于RBF函数的内插方法 126 12.1.2 RBF神经网络 129 12.1.3 数据中心的计算方法 130 12.2 算法改进 132 12.2.1 针对完全内插问题的改进方法 132 12.2.2 针对不适定问题的改进方法 133 12.2.3 广义RBF神经网络 134 12.3 仿真实验 134 12.3.1 基于高斯函数的RBF学习 134 12.3.2 RBF学习算法流程 135 12.4 算法特点 136 第 13 讲 稀疏表示 138 13.1 基本原理 138 13.1.1 信号稀疏表示 138 13.1.2 贪婪求解算法 140 13.1.3 凸优化求解算法 141 13.2 算法改进 142 13.2.1 组合Lasso（Group Lasso） 142 13.2.2 混合Lasso（Fused Lasso） 143 13.2.3 弹性网络（Elastic net） 143 13.3 仿真实验 143 13.3.1 OMP算法 143 13.3.2 APG算法 144 13.3.3 基于稀疏表示的人脸识别 145 13.4 算法特点 147 13.4.1 算法优点 147 13.4.2 算法缺点 147 第 14 讲 字典学习 149 14.1 基本原理 149 14.2 算法改进 151 14.2.1 最优方向法（MOD） 151 14.2.2 K-SVD法 151 14.2.3 在线字典学习法 151 14.3 仿真实验 152 14.3 基于字典学习的视频图像降噪方法 153 14.4 算法特点 154 14.4.1 算法优点 154 14.4.2 算法缺点 155 第 15 讲 BP学习 156 15.1 基本原理 156 15.1.1 人工神经网络 156 15.1.2 BP学习原理 157 15.2 算法改进 162 15.2.1 改进学习速率 163 15.2.2 改进训练样本 164 15.2.3 改进损失函数 164 15.2.4 改进连接方式 165 15.3 仿真实验 165 15.4 算法特点 167 第 16 讲 CNN学习 170 16.1 基本原理 170 16.1.1 神经认知机模型 170 16.1.2 CNN算法思想 171 16.1.3 CNN网络结构 171 16.1.4 CNN网络学习 174 16.2 算法改进 178 16.2.1 设计新的卷积神经网络训练策略 178 16.2.2 使用GPU加速卷积运算过程 178 16.2.3 使用并行计算提高网络训练和测试速度 179 16.2.4 采用分布式计算提高网络训练和测试速度 179 16.2.5 硬件化卷积神经网络 179 16.3 仿真实验 179 16.3.1 卷积神经网络训练算法仿真 179 16.3.2 卷积神经网络实际应用实例 181 16.4 算法特点 183 16.4.1 算法优点 183 16.4.2 算法缺点 183 第 17 讲 RBM学习 185 17.1 基本原理 185 17.1.1 RBM学习思想 185 17.1.2 RBM模型基础 186 17.1.3 RBM模型学习 189 17.2 算法改进 195 17.2.1 方差RBM 195 17.2.2 均值方差RBM 196 17.2.3 稀疏RBM 196 17.2.4 稀疏组RBM 197 17.2.5 分类RBM 197 17.3 仿真实验 198 17.4 算法特点 199 17.4.1 算法优点 199 17.4.2 算法缺点 200 第 18 讲 深度学习 203 18.1 基本原理 203 18.2 算法改进 212 18.3 仿真实验 214 18.4 算法特点 215 第 19 讲 遗传算法 218 19.1 算法原理 218 19.2 算法改进 220 19.2.1 适应度函数设计 220 19.2.2 初始群体的选取 221 19.3 算法仿真 221 19.3.1 图像预处理 222 19.3.2 车牌特征选取 222 19.3.3 基于遗传算法的车牌定位 223 19.4 算法特点 225 19.4.1 遗传算法的优点 226 19.4.2 遗传算法的不足 226 第 20 讲 蚁群方法 228 20.1 基本原理 228 20.1.1 群智能 228 20.1.2 蚂蚁寻找食物源方法 229 20.1.3 蚁群算法的规则 230 20.1.4 蚁群算法的实现 231 20.2 算法改进 232 20.2.1 基于遗传学的改进蚁群算法 232 20.2.2 蚁群系统 232 20.2.3 精英蚁群系统 233 20.2.4 最大最小蚁群系统 233 20.2.5 排序蚁群系统 234 20.2.6 最优-最差蚂蚁系统 235 20.3 仿真实验 235 20.3.1 蚁群算法实例 235 20.3.2 蚁群算法实现流程 236 20.3.3 蚁群算法伪代码 237 20.4 算法特点 238
· · · · · · (收起)