具体描述
《集体智慧编程》以机器学习与计算统计为主题背景,专门讲述如何挖掘和分析Web 上的数据和资源,如何分析用户体验、市场营销、个人品味等诸多信息,并得出有用的结论,通过复杂的算法来从Web 网站获取、收集并分析用户的数据和反馈信息,以便创造新的用户价值和商业价值。全书内容翔实,包括协作过滤技术(实现关联产品推荐功能)、集群数据分析(在大规模数据集中发掘相似的数据子集)、搜索引擎核心技术(爬虫、索引、查询引擎、PageRank算法等)、搜索海量信息并进行分析统计得出结论的优化算法、贝叶斯过滤技术(垃圾邮件过滤、文本过滤)、用决策树技术实现预测和决策建模功能、社交网络的信息匹配技术、机器学习和人工智能应用等。
《集体智慧编程》是Web 开发者、架构师、应用工程师等的绝佳选择。
作者简介
Toby Segaran是Genstruct公司的软件开发主管,这家公司涉足计算生物领域,他本人的职责是设计算法,并利用数据挖掘技术来辅助了解药品机理。Toby Segaran还为其他几家公司和数个开源项目服务,帮助它们从收集到的数据当中分析并发掘价值。除此以外,Toby Segaran还建立了几个免费的网站应用,包括流行的tasktoy和Lazybase。他非常喜欢滑雪与品酒,其博客地址是blog.kiwitobes.com,现居于旧金山。
目录信息
第1章 集体智慧导言......................................................................................... 1
什么是集体智慧......................................................................................................................2
什么是机器学习......................................................................................................................3
机器学习的局限......................................................................................................................4
真实生活中的例子..................................................................................................................5
学习型算法的其他用途..........................................................................................................5
第2章 提供推荐................................................................................................ 7
协作型过滤..............................................................................................................................7
搜集偏好.................................................................................................................................8
寻找相近的用户......................................................................................................................9
推荐物品...............................................................................................................................15
匹配商品...............................................................................................................................17
构建一个基于del.icio.us的链接推荐系统..........................................................................19
基于物品的过滤....................................................................................................................22
使用MovieLens数据集........................................................................................................25
基于用户进行过滤还是基于物品进行过滤........................................................................27
练习.......................................................................................................................................28
第3章 发现群组.............................................................................................. 29
监督学习和无监督学习........................................................................................................29
单词向量...............................................................................................................................30
分级聚类...............................................................................................................................33
绘制树状图............................................................................................................................38
列聚类...................................................................................................................................40
K-均值聚类............................................................................................................................42
针对偏好的聚类....................................................................................................................44
以二维形式展现数据............................................................................................................49
有关聚类的其他事宜............................................................................................................53
练习.......................................................................................................................................53
第4章 搜索与排名.......................................................................................... 54
搜索引擎的组成....................................................................................................................54
一个简单的爬虫程序............................................................................................................56
建立索引...............................................................................................................................58
查询.......................................................................................................................................63
基于内容的排名....................................................................................................................64
利用外部回指链接................................................................................................................69
从点击行为中学习................................................................................................................74
练习.......................................................................................................................................84
第5章 优化..................................................................................................... 86
组团旅游...............................................................................................................................87
描述题解...............................................................................................................................88
成本函数...............................................................................................................................89
随机搜索...............................................................................................................................91
爬山法...................................................................................................................................92
模拟退火算法........................................................................................................................95
遗传算法...............................................................................................................................97
真实的航班搜索..................................................................................................................101
涉及偏好的优化..................................................................................................................106
网络可视化..........................................................................................................................110
其他可能的应用场合..........................................................................................................115
练习.....................................................................................................................................116
第6章 文档过滤.............................................................................................117
过滤垃圾信息......................................................................................................................117
文档和单词..........................................................................................................................118
对分类器进行训练..............................................................................................................119
计算概率..............................................................................................................................121
朴素分类器..........................................................................................................................123
费舍尔方法..........................................................................................................................127
将经过训练的分类器持久化..............................................................................................132
过滤博客订阅源..................................................................................................................134
对特征检测的改进..............................................................................................................136
使用Akismet........................................................................................................................138
替代方法..............................................................................................................................139
练习.....................................................................................................................................140
第7章 决策树建模........................................................................................ 142
预测注册用户......................................................................................................................142
引入决策树..........................................................................................................................144
对树进行训练......................................................................................................................145
选择最合适的拆分方案......................................................................................................147
以递归方式构造树..............................................................................................................149
决策树的显示......................................................................................................................151
对新的观测数据进行分类..................................................................................................153
决策树的剪枝......................................................................................................................154
处理缺失数据......................................................................................................................156
处理数值型结果..................................................................................................................158
对住房价格进行建模..........................................................................................................158
对“热度”评价进行建模..................................................................................................161
什么时候使用决策树..........................................................................................................164
练习.....................................................................................................................................165
第8章 构建价格模型..................................................................................... 167
构造一个样本数据集..........................................................................................................167
k-最近邻算法.......................................................................................................................169
为近邻分配权重..................................................................................................................172
交叉验证..............................................................................................................................176
不同类型的变量..................................................................................................................178
对缩放结果进行优化..........................................................................................................181
不对称分布..........................................................................................................................183
使用真实数据——eBay API...............................................................................................189
何时使用k-最近邻算法......................................................................................................195
练习.....................................................................................................................................196
第9章 高阶分类:核方法与SVM ................................................................. 197
婚介数据集..........................................................................................................................197
数据中的难点......................................................................................................................199
基本的线性分类..................................................................................................................202
分类特征..............................................................................................................................205
对数据进行缩放处理..........................................................................................................209
理解核方法..........................................................................................................................211
支持向量机..........................................................................................................................215
使用LIBSVM......................................................................................................................217
基于Facebook的匹配........................................................................................................219
练习.....................................................................................................................................225
第10章 寻找独立特征................................................................................... 226
搜集一组新闻......................................................................................................................227
先前的方法..........................................................................................................................231
非负矩阵因式分解..............................................................................................................232
结果呈现..............................................................................................................................240
利用股票市场的数据..........................................................................................................243
练习.....................................................................................................................................248
第11章 智能进化.......................................................................................... 250
什么是遗传编程..................................................................................................................250
将程序以树形方式表示......................................................................................................253
构造初始种群......................................................................................................................257
测试题解..............................................................................................................................259
对程序进行变异..................................................................................................................260
交叉.....................................................................................................................................263
构筑环境..............................................................................................................................265
一个简单的游戏..................................................................................................................268
更多可能性..........................................................................................................................273
练习.....................................................................................................................................276
第12章 算法总结.......................................................................................... 277
贝叶斯分类器......................................................................................................................277
决策树分类器......................................................................................................................281
神经网络..............................................................................................................................285
支持向量机..........................................................................................................................289
k-最近邻...............................................................................................................................293
聚类.....................................................................................................................................296
多维缩放..............................................................................................................................300
非负矩阵因式分解..............................................................................................................302
优化.....................................................................................................................................304
附录A:第三方函数库..................................................................................... 309
附录B:数学公式............................................................................................. 316
索引.................................................................................................................. 323
· · · · · · (收起)
读后感
这是一本很适合对各种机器学习知识进行了解的入门读物,涵盖了较为全面的机器学习方法。全书翻译得不错,但是到处都是须要,真是需要,须要,傻傻分不清楚啊,看着有点别扭的感觉,不过没办法,还是得感谢译者,这只能怪自己的英文水平太低咯~
可能不是什么最新的研究热点 不过就读完第一章之后来看,基本上验证了我之前对于协同过滤方面的知识,并且感觉可以作为后续研究的一个指导和激励。 看到后面的章节内容,支持向量机,神经网络等之前在工程上用的少之又少的东西都能有它们的用武之地,让人相当之兴奋。 其实目前...
这本书还不错的,很适合数学基础不算太好(当然也还是要一定的数学基础),又想了解数据挖掘这个领域的读者。或者有实际的项目需求,但又没有足够的时间去深入了解这个领域的实践者。 不过我每次看到有人说它把艰涩的数学讲的很通俗、进而认为那些写满数学公式的书是故弄玄虚...
上周50周年系庆的时候 张钹 院士说了这样一句话:”人工智能以前大多基于经验和领域知识,直到上万上亿的数据出现时,基于数据的人工智能更有了广阔的天空。”《集体智慧》就是这样一本告诉你如何从数据中挖掘金矿的经典之作。 由于现在所从事的是信息检索,文本挖掘方面的研究...
上周50周年系庆的时候 张钹 院士说了这样一句话:”人工智能以前大多基于经验和领域知识,直到上万上亿的数据出现时,基于数据的人工智能更有了广阔的天空。”《集体智慧》就是这样一本告诉你如何从数据中挖掘金矿的经典之作。 由于现在所从事的是信息检索,文本挖掘方面的研究...
用户评价
老实说,我一开始对这类“集体智慧”的书籍抱有一些怀疑态度,觉得它们可能过于理想化,或者是一些空泛的理论。但这本书彻底颠覆了我的看法。它非常务实,用大量鲜活的、经过验证的例子,展示了集体智慧如何在实际操作中发挥巨大的作用。我特别喜欢书中对“预测市场”和“评分系统”的解读,这让我看到了如何通过聚合个体判断来做出更准确的预测,或者对事物进行更客观的评价。这些应用场景对我来说是全新的,也极具启发性。我一直认为,很多决策往往受到少数几个人的主观意见影响,而这本书则提供了一种打破这种局限性的方法。它让我认识到,当足够多的人参与进来,他们的判断往往会趋于理性,并且能够弥补个体的认知偏差。书中对于“错误信息”的识别和“偏见”的规避也做了深入的探讨,这让我觉得作者不仅仅是在推崇集体,而是在思考如何让集体智慧更加健康、可持续地发展。它不是让你盲目相信“群众”,而是教你如何“利用”群众的智慧,并在此过程中不断优化和完善。这本书读起来一点也不枯燥,作者的语言很有感染力,让我仿佛置身于那些成功的集体项目中,亲眼见证奇迹的发生。
我一直对“群体思维”和“意见聚合”这类概念很感兴趣,但苦于找不到一本能够系统性地解释这一切的书,直到我读到了它。这本书的内容并非是简单的罗列技巧,而是深入地挖掘了集体智慧背后的哲学和心理学原理。它让我明白,为什么在某些情况下,集体比个体更聪明,而在另一些情况下,集体反而会犯下可怕的错误。书中对于“群体极化”和“信息茧房”等负面现象的分析,让我感到非常警醒,同时也让我看到了作者的严谨和深刻。它并非一味地鼓吹集体,而是提醒我们要警惕其中的陷阱。让我印象深刻的是,作者通过对历史案例和现代科技应用的双重解读,为我们描绘了一幅清晰的集体智慧发展图景。它不仅讲述了“做什么”,更重要的是解释了“为什么这么做”以及“如何做得更好”。这本书让我对“合作”和“共识”有了全新的认识,也让我意识到,在信息时代,能够有效地汇聚和利用集体智慧,将是个人和组织成功的关键。它是一本既有深度又有广度的书,值得反复阅读和思考。
我一直对信息爆炸时代下如何更好地汇聚和利用集体力量感到好奇,直到我偶然翻到了这本书。它就像一把钥匙,为我打开了一扇全新的窗户,让我看到了一个充满无限可能的世界。书中不仅仅是罗列了各种工具和技术,更是深入浅出地阐释了“为什么”——为什么集体智慧如此强大,为什么它能在无数看似杂乱的个体思想中提炼出珍珠。我尤其被书中关于“众包”和“众创”的案例所吸引,它们生动地展示了如何通过设计巧妙的平台和机制,激发个体的参与热情,并最终将这些零散的贡献转化为有价值的集体成果。例如,书中详细描述了开源社区的运作模式,从最初的代码贡献到后来的bug修复、文档编写,再到社区成员之间的互助和知识传播,每一个环节都体现了集体智慧的精妙之处。它让我意识到,我们不再需要依赖少数的专家来解决所有问题,而是可以借助更广泛的群体,集思广益,共同创新。这本书的叙述方式也十分引人入胜,作者并没有用枯燥的理论堆砌,而是通过大量的实际案例和生动的语言,将复杂的概念变得易于理解。读完这本书,我感觉自己对团队协作、项目管理,甚至社会问题解决都有了更深层次的理解。它不仅是一本关于技术和方法的书,更是一本关于如何激发人类潜能,如何构建更美好未来的指南。
这本书的出现,简直是为我这样长期在团队协作中摸索的开发者带来了福音。它不仅仅停留在“如何使用工具”的层面,而是更进一步地探讨了“如何让工具更好地服务于集体”这个核心问题。我尤其欣赏书中对于“激励机制”的细致剖析,它揭示了是什么样的内在和外在动力,能够驱使人们主动参与到集体项目中来,并贡献自己的力量。书中列举的很多案例,比如在维基百科上的内容贡献,或者在Stack Overflow上的问题解答,都让我看到了普通人在清晰规则和积极反馈下所能爆发出的惊人创造力。这些案例不再是遥不可及的神话,而是变得触手可及,仿佛作者在一步步引导我,如何在我自己的项目或工作环境中,设计类似的有效机制。我开始反思过去项目中的不足,思考如何才能更好地组织和引导团队成员,让他们不仅仅是完成任务,而是真正地“投入”其中,产生归属感和主人翁意识。书中关于“信息过滤”和“共识形成”的章节,也让我受益匪浅,它教会我如何在海量信息中快速找到有价值的内容,并如何有效地与他人达成一致,避免无效的争论和资源的浪费。总而言之,这本书给我提供了一套系统性的思维框架,帮助我以更有效、更具包容性的方式来领导和参与集体项目。
这本书给我最深的印象,在于它对于“开放性”和“透明性”在构建集体智慧中的重要性的强调。它不仅仅是教你如何去“集思广益”,更是让你理解“为什么”需要如此。书中关于“开放平台”和“协作工具”的介绍,让我看到了科技如何为集体智慧提供了坚实的基础。我曾经参与过一些项目,虽然也鼓励大家贡献想法,但往往因为信息不对称、沟通不畅而导致效率低下。这本书则系统地解释了,如何通过构建一个开放、透明的环境,让信息自由流动,让每个人都能看到全局,从而更好地贡献自己的力量。它让我意识到,很多时候,阻碍集体智慧发挥作用的,不是能力的缺失,而是机制的限制。书中关于“去中心化”和“社区治理”的讨论,尤其让我眼前一亮,它让我看到了一种更加平等、更加民主的协作模式。它鼓励我跳出传统的“领导者-追随者”的思维模式,去思考如何构建一个能够让每个人都感到被尊重、被重视的环境。阅读这本书的过程,就像是在参加一场盛大的头脑风暴,无数的火花在碰撞,让我对未来协作的形态充满了期待。
读过电子版的先前印批9787121075391。2015.11.5jd
机器学习方面的简要介绍,适合入门者阅读。
计时学习,共334页 用python2写的,不爽 有些网站的访问需要翻墙,不爽 20191016—01~1—2 20191019—02~2—各部分总览 20191020—03~7—20 20191022—04~20—22跳过,直接进入第三章29— 这一天晚上给我气的,这本书哪好了? 其中的很多数据根据链接都找不到! 也许实效性很强吧,我没有赶上好时机。
读过电子版的先前印批9787121075391。2015.11.5jd
在AI和大数据大热的时代,真是一个晦涩的书名也许就会让大家错失一本优秀的书籍,想对“机器学习”与“计算统计”进行了解和实践的朋友推荐阅读,其中的应用场景很贴近生活(比如商品偏好推荐、房价预测,约会匹配、金融场景……),书中所附代码也是可以执行的……,只是理解此书中所附知识点估计还需阅读实践多遍,并进行大量拓展学习( ̄(●●) ̄)