具体描述
本书是目前国内独本系统性阐述集成学习的著作。
集成学习的思路是通过结合多个学习器来解决问题,它在实践中大获成功——人称“从业者应学应会的大杀器”之一。
化繁为简:将复杂的原理简化为易于理解的表达,通俗易懂;
结构合理:兼具广度与深度。既阐述该领域的重要话题,又详释了重要算法的实现并辅以伪代码,更易上手;
注重实践:阐述集成学习在多个领域的应用,如计算机视觉、医疗、信息安全和数据挖掘竞赛等;
拓展阅读:提供丰富的参考资料,读者可按图索骥、自行深入学习;
新手通过本书很容易理解并掌握集成学习的思路与精粹;
老手通过本书能学会不少技巧并深化对集成学习的理论理解,更好地指导研究和实践。
集成学习方法是一类先进的机器学习方法,这类方法训练多个学习器并将它们结合起来解决一个问题,在实践中获得了巨大成功。
《集成学习:基础与算法》分为三部分。第一部分主要介绍集成学习的背景知识;第二部分主要介绍集成学习方法的核心知识,包括Boosting、Bagging、Random Forests 等经典算法,平均、投票和Stacking 等模型和方法、相关理论分析工作,以及多样性度量和增强方面的进展;第三部分介绍集成学习方法的进阶议题,包括集成修剪、聚类集成和集成学习方法在半监督学习、主动学习、代价敏感学习、类别不平衡学习及提升可理解性方面的进展。此外,本书还在每章的“拓展阅读”部分提供了相关的进阶内容。
本书全面介绍机器学习领域的集成学习方法,阐述这个激动人心的领域的研究。我从中受益匪浅!
—Thomas G. Dietterich教授,美国俄勒冈州立大学智能系统研究院主任、ACM Fellow、国际机器学习学会创会主席
本书的出版适逢其时:恰当的时机,恰当的内容——既具权威性又兼容并包——这使广大读者能真正从中获益。
―Fabio Roli教授,意大利卡利亚里大学、IEEE Fellow
作者简介
周志华,教授、南京大学计算机系主任、人工智能学院院长、校学术委员会委员。
欧洲科学院外籍院士,首位在人工智能相关五大主流国际学会ACM、AAAI、AAAS、IEEE、IAPR均当选为会士的华人学者。
中国计算机学会、中国人工智能学会会士。
曾获IEEE计算机学会Edward J. McCluskey技术成就奖、CCF王选奖等。
李楠,博士,毕业于南京大学计算机系机器学习与数据挖掘研究所(LAMDA),师从周志华教授从事机器学习研究。
发表论文20余篇,并获国际数据挖掘竞赛冠军及最佳论文奖。
先后供职于阿里巴巴iDST/达摩院和微软亚洲互联网工程院,主要从事机器学习在互联网搜索、推荐和广告中的研究和应用工作。
目录信息
1.1 基本概念 1
1.2 常用学习算法 3
1.2.1 线性判别分析 3
1.2.2 决策树 4
1.2.3 神经网络 6
1.2.4 朴素贝叶斯 8
1.2.5 k-近邻 9
1.2.6 支持向量机和核方法 9
1.3 评估和对比 12
1.4 集成学习方法 14
1.5 集成学习方法的应用 16
1.6 拓展阅读 19
第2章 Boosting 21
2.1 Boosting 过程 21
2.2 AdaBoost 算法 22
2.3 说明性举例 26
2.4 理论探讨 29
2.4.1 基本分析 29
2.4.2 间隔解释 30
2.4.3 统计视角 32
2.5 多分类问题 35
2.6 容噪能力 37
2.7 拓展阅读 40
第3章 Bagging 43
3.1 两种集成范式 43
3.2 Bagging 算法 44
3.3 说明性举例 45
3.4 理论探讨 48
3.5 随机树集成 52
3.5.1 随机森林 52
3.5.2 随机化谱 55
3.5.3 随机森林用于密度估计 56
3.5.4 随机森林用于异常检测 58
3.6 拓展阅读 60
第4章 结合方法 61
4.1 结合带来的益处 61
4.2 均值法 62
4.2.1 简单平均法 62
4.2.2 加权平均法 63
4.3 投票法 65
4.3.1 绝对多数投票法 65
4.3.2 相对多数投票法 66
4.3.3 加权投票法 67
4.3.4 软投票法 68
4.3.5 理论探讨 70
4.4 学习结合法 76
4.4.1 Stacking 76
4.4.2 无限集成 78
4.5 其他结合方法 79
4.5.1 代数法 80
4.5.2 行为知识空间法 81
4.5.3 决策模板法 81
4.6 相关方法 82
4.6.1 纠错输出编码法 82
4.6.2 动态分类器选择法 85
4.6.3 混合专家模型 86
4.7 拓展阅读 87
第5章 多样性 91
5.1 集成多样性 91
5.2 误差分解 92
5.2.1 误差-分歧分解 92
5.2.2 偏差-方差-协方差分解 94
5.3 多样性度量 96
5.3.1 成对度量 96
5.3.2 非成对度量 97
5.3.3 小结和可视化 100
5.3.4 多样性度量的局限 101
5.4 信息论多样性 102
5.4.1 信息论和集成 102
5.4.2 交互信息多样性 103
5.4.3 多信息多样性 104
5.4.4 估计方法 105
5.5 多样性增强 106
5.6 拓展阅读 108
第6章 集成修剪 109
6.1 何谓集成修剪 109
6.2 多比全好 110
6.3 修剪方法分类 113
6.4 基于排序的修剪 114
6.5 基于聚类的修剪 117
6.6 基于优化的修剪 117
6.6.1 启发式优化修剪 118
6.6.2 数学规划修剪 118
6.6.3 概率修剪 121
6.7 拓展阅读 122
第7章 聚类集成 125
7.1 聚类 125
7.1.1 聚类方法 125
7.1.2 聚类评估 127
7.1.3 为什么要做聚类集成 129
7.2 聚类集成方法分类 130
7.3 基于相似度的方法 132
7.4 基于图的方法 133
7.5 基于重标记的方法 136
7.6 基于变换的方法 140
7.7 拓展阅读 143
第8章 进阶议题 145
8.1 半监督学习 145
8.1.1 未标记数据的效用 145
8.1.2 半监督学习的集成学习方法 146
8.2 主动学习 151
8.2.1 人为介入的效用 151
8.2.2 基于集成的主动学习 152
8.3 代价敏感学习 153
8.3.1 不均等代价下的学习 153
8.3.2 代价敏感学习的集成方法 154
8.4 类别不平衡学习 158
8.4.1 类别不平衡 158
8.4.2 类别不平衡学习的性能评估 160
8.4.3 类别不平衡学习的集成方法 163
8.5 提升可解释性 166
8.5.1 集成约简 166
8.5.2 规则抽取 167
8.5.3 可视化 168
8.6 未来的研究方向 169
8.7 拓展阅读 171
参考文献 173
索引 203
· · · · · · (收起)
读后感
这个月的工作主要是等待数据下来以后跑各类模型,大部分时间用于等待模型的结果,于是就顺利成章开始摸鱼挂着计算阅读这本与接下来的工作可能相关的书,总共只有200多页,正文部分也是不满180页的,这个月来利用工作时中的间隙(我是真的咸鱼,回家就洗洗睡看躺床上看ML无关的...
感觉这里有错误,应该是期望损失求导 下标也不对。 140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太...
感觉这里有错误,应该是期望损失求导 下标也不对。 140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太坑爹!140字的要求太...
这个月的工作主要是等待数据下来以后跑各类模型,大部分时间用于等待模型的结果,于是就顺利成章开始摸鱼挂着计算阅读这本与接下来的工作可能相关的书,总共只有200多页,正文部分也是不满180页的,这个月来利用工作时中的间隙(我是真的咸鱼,回家就洗洗睡看躺床上看ML无关的...
这个月的工作主要是等待数据下来以后跑各类模型,大部分时间用于等待模型的结果,于是就顺利成章开始摸鱼挂着计算阅读这本与接下来的工作可能相关的书,总共只有200多页,正文部分也是不满180页的,这个月来利用工作时中的间隙(我是真的咸鱼,回家就洗洗睡看躺床上看ML无关的...
用户评价
这本书在编程实践和代码示例方面做得非常到位,这对于我们这些偏爱动手实践的读者来说,简直是福音。示例代码不仅结构清晰、注释详尽,而且几乎都能完美复现作者描述的实验结果,这极大地增强了阅读的可信度和操作的便利性。我尝试着运行了书中关于特征工程和数据预处理的一组Python脚本,发现代码库的组织方式非常模块化,很容易就能根据自己的项目需求进行裁剪和扩展。更值得称赞的是,作者似乎非常了解现代机器学习框架的最新特性,代码中使用的库版本和函数调用都非常新潮和高效,这避免了我们拿到一本“过时”书籍的尴尬。这种及时跟进前沿技术并将其融入教学内容的态度,让这本书的实用价值大大提升,绝对不是那种只停留在纸上谈兵的理论手册。
这本书给我最大的感受是它在构建知识体系上的宏大视野,它不仅仅是介绍零散的算法点,而是努力勾勒出一个完整、有机的技术图景。作者似乎非常注重不同技术分支之间的联系和融合,比如如何将早期的统计学习思想巧妙地融入到最新的深度学习架构优化中去。阅读过程中,我不断地将书中的概念与其他领域的知识进行交叉对比,这种启发性的设计让我的思维模式得到了拓展,不再将各个技术点视为孤立的模块。它更像是一张精密的路线图,引导读者从一个基础点出发,最终能够系统性地理解整个领域的发展脉络和未来趋势。这种“教你如何思考”的教学理念,使得这本书的价值超越了一本单纯的技术手册,更像是一位资深导师的倾心教导,让人在学习过程中充满探索的乐趣和对未来的期待。
从技术深度的角度来看,这本书展现了作者深厚的理论功底,尤其是在算法推导和数学证明部分,处理得非常严谨。我特别注意了关于正则化技术如何影响模型复杂度和泛化能力的那一节,作者没有回避那些令人头疼的矩阵运算和梯度下降的细节,而是用一种循序渐进的方式,将复杂的数学语言翻译成了工程师可以理解的工程语言。虽然中间某些公式推导需要我停下来,对照其他资料反复确认,但最终理解后的那种豁然开朗的感觉是无与伦比的。它迫使你不仅仅停留在“调用API”的层面,而是真正去理解背后的机制是如何运作的。对于希望从一个“使用者”转变为一个“设计者”的读者来说,这种对底层原理的深度挖掘,无疑提供了极具价值的养分,让人感觉这本书是真正愿意沉下心来教你“造轮子”的。
这本书的装帧设计确实是下了功夫的,封面那种深邃的蓝色调,配上简洁的白色字体,给人的感觉既专业又沉稳,拿在手里质感非常棒,绝对是那种可以长久放在书架上、时不时拿出来翻阅的类型。我尤其喜欢它内页的排版,字体大小适中,行距处理得也很舒服,即便是长时间阅读也不会感到眼睛疲劳,这对于技术类书籍来说太重要了。至于内容组织,这本书的章节过渡非常自然,从宏观的介绍到具体的实现细节,逻辑链条清晰可见,感觉作者在梳理知识点时下了不少苦功,没有那种东拼西凑的生硬感。我一开始对某些复杂的理论概念还有些担忧,但作者似乎深谙读者的心理,总能在关键点插入一些清晰的图示或者简短的引言,帮助我们快速抓住核心要义。整体而言,作为一本工具书或者参考资料,它的物理形态和设计美学是完全达到了我的预期,让人在阅读过程中心情愉悦。
我花了不少时间研读了其中关于模型评估与选择的那几个章节,感觉作者在这一块的处理上展现了极高的洞察力。他们并没有停留在教科书式的介绍上,而是深入探讨了不同评估指标在实际应用场景中的优劣权衡,比如在处理高度不平衡数据集时,精确率、召回率和F1得分之间的微妙关系,以及如何根据业务目标来定制化地解读这些数值。更让我印象深刻的是,书中提供了一些非常实用的案例分析,这些案例并不是那种过于理想化的“标准模型”,而是贴近现实世界中数据噪声和复杂性的问题,并通过详细的步骤展示了如何通过迭代和调整策略来优化最终效果。读完这些部分,我感觉自己对于“如何判断一个模型的好坏”这件事,有了一种更立体、更成熟的认识,不再是简单地看一个Accuracy数字就下结论了。这种注重实操和批判性思维的引导,是很多同类书籍所欠缺的。
不管怎么说吧!集成学习这个概念这本书讲的还是很清晰的,初学者可能有点陌生,但是细品起来还是很不错的一本书
不管怎么说吧!集成学习这个概念这本书讲的还是很清晰的,初学者可能有点陌生,但是细品起来还是很不错的一本书
不管怎么说吧!集成学习这个概念这本书讲的还是很清晰的,初学者可能有点陌生,但是细品起来还是很不错的一本书
不管怎么说吧!集成学习这个概念这本书讲的还是很清晰的,初学者可能有点陌生,但是细品起来还是很不错的一本书
不管怎么说吧!集成学习这个概念这本书讲的还是很清晰的,初学者可能有点陌生,但是细品起来还是很不错的一本书