具体描述
机器学习是人工智能领域中一个极其重要的研究方向。强化学习是机器学习中的一个重要分支。作为解决序贯优化决策的有效方法,强化学习有效地应用于计算科学、自动控制、机器人技术等各个领域。
当前,强化学习的核心任务是提高学习效率,本书就是针对此问题展开的。第1章介绍系统概念和增强机器学习,它建立了一个突出的相同的机器学习系统范例;第2章将更多关注机器学习的基本原理和多视角学习;第3章关于强化学习;第4章处理机器学习系统和模型建立的问题;决策推理等重要的部分将在第5章展开;第6章讨论了自适应机器学习;第7章讨论了多视角和全局系统性机器学习;第8章讨论了增量学习的需要和知识表示;第9章处理了知识增长方面的问题;第10章讨论了学习系统的建立。
本书适合于机器学习、自动化技术、人工智能等方面的相关专业教师与研究生阅读,也可供自然科学和工程领域相关研究人员参考。
作者简介
目录信息
原书前言
原书致谢
关于作者
第1章强化与系统性机器学习1
11简介1
12监督学习、无监督学习、半监督学习和强化学习1
13传统机器学习方法和机器学习发展历史3
14什么是机器学习?6
15机器学习问题6
151学习的目标6
16学习模式7
17机器学习技术和范例9
18什么是强化学习?11
19强化函数和环境函数12
110强化学习的需求13
111强化学习和机器智能14
112什么是系统学习?14
113什么是系统性机器学习?15
114系统性机器学习的重点15
115强化性机器学习和系统性机器学习16
116车辆检测问题的案例研究16
117小结16
参考文献17
第2章全系统原理、系统性和多视角的机器学习18
21简介18
211什么是系统性学习?19
212历史20
22什么是系统性机器学习?21
221基于事件的学习21
23广义系统性机器学习框架23
231系统定义24
24多视角决策和多视角学习26
241基于完整信息的表示32
242基于部分信息的表示32
243单视角决策方案图32
244双重视角决策方案图32
245多视角决策方案图32
246定性信念网络和影响图33
25动态和交互式决策33
251交互决策图33
252决策图和影响图中时间的角色34
253系统性视角的建立34
254信息整合35
255建立典型决策方案图35
256受限信息35
257多决策者系统在系统性学习中的角色35
26系统性学习框架39
261数学模型39
262系统性学习的方法39
263自适应系统性学习40
264系统性学习框架41
27系统分析41
28案例学习:在酒店行业中需要系统性学习43
29小结44
参考文献44
第3章强化学习45
31简介45
32学习决策者48
33回报和奖励的计算50
331方案和连续任务50
34强化学习和自适应控制51
35动态系统54
351离散事件动态系统54
36强化学习和控制55
37马尔科夫性质和决策过程55
38价值函数56
381行动和价值56
39学习最优策略(有模型和无模型法)57
310动态规划57
3101动态系统性质57
311自适应动态规则58
3111时间差分学习59
3112Q学习60
3113统一的视图60
312范例——拳击训练器的强化学习61
313小结61
参考文献61
第4章系统性机器学习和模型62
41简介62
42系统学习的框架63
421影响空间64
422交互作用为中心的模型69
423以结果为中心的模型69
43捕捉系统视图70
44系统交互的数学表达73
45影响函数74
46决策影响分析74
461时空界限75
47小结80
第5章推理和信息集成82
51简介82
52推理机制和需要83
521情景推理85
522推理确定影响85
53情景和推理的集成88
54统计推理和归纳91
541直接推理91
542间接推理91
543信息推理91
544归纳92
55纯似然方法92
56贝叶斯范例推理93
561贝叶斯定理93
57基于时域推理93
58推理建立系统观点94
581信息集成94
59小结96
参考文献97
第6章自适应学习98
61简介98
62自适应学习和自适应系统98
63什么是自适应机器学习101
64基于方案的适应性和学习方法101
641动态适应性和情景感知的学习102
65系统学习和自适应学习104
651多学习器的使用105
652系统自适应机器学习108
653自适应应用的设计110
654自适应学习的需要和适应的原因111
655适应类型112
656自适应框架114
66竞争学习和自适应学习115
661适应性函数116
662决策网络118
663自适应学习方案119
67范例120
671案例研究:基于自适应学习的文本120
672自适应学习的文档挖掘121
68小结122
参考文献122
第7章多视角和全局系统性的学习123
71简介123
72多视角方案构建124
73多视角决策和多视角学习126
731视角结合126
732影响图和部分方案决策表示图127
733表示决策方案图(RDSD)130
734范例:部分方案决策表示图(PDSRD)表示的不同视角获取的城市信息131
74全局系统性学习和多视角途径134
741分散信息整合135
742多视角和全局系统知识表示135
743什么是多视角方案?135
744特定方案136
75基于多视角途径的案例研究136
751交通控制器用多视角途径137
752情感检测用多视角途径模型138
76多视角方法的局限性143
77小结143
参考文献144
第8章增量学习和知识表示145
81简介145
82为什么增量学习?146
83学习已经学会的147
831绝对增量学习148
832选择增量学习149
84监督增量学习157
85增量无监督学习和增量聚类158
851增量聚类:任务160
852增量聚类:方法161
853阈值161
86半监督增量学习162
87增量与系统性学习163
88增量接近值和学习方法164
881增量学习方法1165
882增量学习方法2166
883计算C值增量166
89学习与决策模型169
810增量分类技术169
811案例分析:增量文档分类170
812小结171
第9章知识增长:机器学习的视角173
91简介173
92短暂的历史和相关工作174
93知识增长和知识启发178
931策略使用进行知识启发178
932基于目标的知识启发179
933基于过程的知识启发179
94生命周期180
941知识水平181
942直接知识181
943间接知识182
944程序知识182
945问题182
946决策182
947知识生命周期183
95增量知识表达184
96案例学习和遗忘学习186
97知识的扩充:技术和方法187
971知识增量技术187
972知识增量方法188
973提取知识的机制189
98启发式学习190
99系统性机器学习和知识获取190
991全方位知识获取191
992系统知识管理和先进的机器学习192
910在复杂环境下的知识增量193
911案例研究193
9111银行案例研究193
9112软件开发公司194
9113杂货集市/零售集市195
912小结195
参考文献196
第10章构建学习系统197
101简介197
102系统性学习系统197
1021学习单元199
1022知识库200
1023性能单元200
1024反馈单元200
1025允许测量的系统200
103算法选择201
1031k近邻(kNN)201
1032支持向量机(SVM)202
1033质心法202
104知识表示203
1041实用方案和案例研究203
105学习系统的设计204
106让系统表现得更智能204
107案例学习205
108整体知识框架和强化学习的应用205
1081智能算法的选择207
109智能决策——部署和知识采集以及重用208
1010基于案例的学习:人体情感检测系统209
1011复杂决策问题的整体视角211
1012知识表示和资源查找213
1013组件215
10131范例215
1014学习系统和智能系统的未来216
1015小结217
附录218
附录A统计学习方法218
A1概率218
A11互斥事件218
A12独立事件218
A2贝叶斯分类219
A21朴素贝叶斯分类220
A22贝叶斯分类器的优点和缺点221
A3回归221
A31线性222
A32非线性222
A33回归的其他方法222
A4粗糙集223
A41不可分辨关系223
A42集近似224
A43边界区域224
A44粗糙集和清晰集224
A45约简224
A46可有可无和不可缺少的属性224
A5支持向量机224
参考文献225
附录B马尔科夫过程225
B1马尔科夫过程225
B11案例226
B12解决步骤226
B13长期227
B14马尔科夫过程示例228
B2半马尔科夫过程231
B21建议231
B22验证232
B23推论232
· · · · · · (收起)
读后感
用户评价
说实话,当我翻开这本书时,我有点担心它会过于偏重于某一特定算法的实现细节,但我的担忧完全是多余的。这本书的格局非常开阔,它更关注的是“系统设计哲学”。让我印象特别深刻的是关于“异构数据融合与决策反馈”那一章。作者没有固守传统的监督学习或无监督学习的框架,而是探讨了如何将时序依赖性极强的数据流(强化学习的拿手好戏)与结构化、静态的知识图谱(传统专家系统或知识工程的领域)有效地耦合起来,形成一个既能学习又能推理的混合智能体。这种跨学科的整合思维,正是当前AI发展最亟需的方向。我感觉作者是一位真正的“系统思考者”,他不仅仅是一个优秀的算法专家,更是一位对复杂性科学有着深刻理解的架构师。这本书对于那些希望构建跨领域、具备多模态感知和决策能力的下一代AI系统的开发者来说,无疑是一份宝贵的蓝图。
这本书的叙事节奏和内容组织,我必须得说,非常具有挑战性,但回报也极其丰厚。它不是那种可以让你轻松翻阅的入门读物,更像是一场需要全神贯注的学术马拉松。我最欣赏的一点是,作者没有回避那些令人头疼的理论深水区,而是直接将读者带入了前沿研究的交锋地带。比如,书中对于“多智能体协作与竞争”的建模,那种将博弈论与深度学习网络深度融合的架构描述,简直是精妙绝伦。我花了整整两天时间,对照着书中的公式和图示,才勉强跟上作者构建的那个复杂反馈闭环。对于那些希望从“应用层”跃升到“理论构建层”的研究人员来说,这本书提供了绝佳的跳板。它迫使你重新审视你所习惯的那些简化假设,并思考在真实世界那种充满了噪声、延迟和非平稳性的环境中,我们现有的模型到底还剩下多少效力。阅读过程虽然艰辛,但那种攻克难关后的豁然开朗,是其他任何材料都无法比拟的。
与其他市面上充斥的关于“如何用库函数快速搭建一个AI模型”的书籍截然不同,这本《决策用强化与系统性机器学习》提供了一种更深层次的哲学思辨。我尤其欣赏作者对“偏差-方差权衡”在决策系统中的系统性重构。它不再仅仅是一个统计学的概念,而是被提升到了工程伦理和长期规划的高度。书中详尽地探讨了,当强化学习Agent在追求短期优化时,如何无意中破坏了整个系统的长期健康状态,以及如何通过引入“系统性约束”来规避这种“局部最优陷阱”。对于负责大型基础设施(如电网调度、交通流控制)的工程师们而言,这本书的价值是不可估量的。它让我们意识到,每一次看似微小的决策优化,都可能引发雪崩式的系统连锁反应。作者的笔触非常老辣,没有使用太多花哨的语言,而是用严谨的逻辑链条,构建了一个严丝合缝的论证体系,让人不得不信服其关于“整体性决策”的深刻见解。
这本书的语言风格和深度,完全对得起它“决策”二字的分量。它不是一本教你如何写代码的书,而是一本教你如何“思考决策过程”的书。我特别喜欢其中对“因果推断与反事实分析”在强化学习中的应用所做的阐述。传统的RL往往依赖于观测到的奖励信号来修正策略,但作者指出,在许多关键决策场景中,我们真正需要的是理解“如果我做了另一个选择,结果会怎样”的能力。书中详细介绍了如何利用先进的因果模型来指导策略的探索和评估,这使得整个学习过程从单纯的“试错”升华为一种带有预见性的“审慎规划”。这种前瞻性的视角,彻底改变了我对如何设计一个负责任的AI系统的看法。它要求我们不仅要优化我们能看到的结果,更要量化那些未曾发生的可能性,并据此调整我们的行为准则。这是一本需要反复研读,并随时在实践中对照反思的经典之作。
天哪,我最近读完了这本《决策用强化与系统性机器学习》,简直是打开了新世界的大门!这本书对于理解当前人工智能领域最前沿的决策制定机制,有着无可比拟的深度和广度。我原本对强化学习的理解还停留在基础的马尔可夫决策过程层面,但作者巧妙地将视角拉升到了宏观的系统层面,探讨了在高度不确定和动态变化的环境中,如何构建既能快速适应又能保持长期稳定性的学习框架。尤其令我印象深刻的是关于“元学习”和“可解释性”的讨论。书中并没有停留在炫技式的算法堆砌上,而是深入剖析了为何在实际的工业部署中,一个“能被人类理解的决策路径”往往比一个单纯追求高奖励的黑箱模型更具价值。作者通过大量的案例分析,清晰地展示了,当系统面对突发性、结构性变化时,那种基于系统理论的、更具鲁棒性的学习范式是如何运作的。我感觉,这本书与其说是一本技术手册,不如说是一份面向未来复杂系统工程师的“思维地图”。读完之后,我对于如何设计一个能够自我修正、持续进化的智能体,有了远超以往的清晰认知。
无论译者是否用心,作者肯定是不用心的,既不讲数学公式推导,也不讲实际工业案例,还不如阿里的内部技术资料
无论译者是否用心,作者肯定是不用心的,既不讲数学公式推导,也不讲实际工业案例,还不如阿里的内部技术资料
无论译者是否用心,作者肯定是不用心的,既不讲数学公式推导,也不讲实际工业案例,还不如阿里的内部技术资料
无论译者是否用心,作者肯定是不用心的,既不讲数学公式推导,也不讲实际工业案例,还不如阿里的内部技术资料
无论译者是否用心,作者肯定是不用心的,既不讲数学公式推导,也不讲实际工业案例,还不如阿里的内部技术资料