具体描述
Vijay Srinivas Agneeswaran 博士,1998 年于SVCE 的马德拉斯分校获得计算机科学与工程专业的学士学位,2001 年获取了印度理工学院马德拉斯分校的硕士学位(研究性质),2008年又获取了该校的博士学位。他曾在瑞士洛桑的联邦理工学院的分布式信息系统实验室(LSIR)担任过一年的博士后研究员。之前7 年先后就职于Oracle、Cognizant 及Impetus,对大数据及云领域的工程研发贡献颇多。目前担任Impetus 的大数据实验室的执行总监。他的研发团队在专利、论文、受邀的会议发言以及下一代产品创新方面都处于领导地位。他主要研究的领域包括大数据管理、批处理及实时分析,以及大数据的机器学习算法的实现范式。最近8 年来,他一直是计算机协会(ACM)以及电气和电子工程师协会(IEEE)的专家成员,并于2012年12 月被推选为IEEE 的资深成员。他在美国、欧洲以及印度的专利局都申请过专利(并持有美国的两项专利)。他在前沿的期刊及会议,包括IEEE transaction 上都发表过论文。他还是国内外多个会议的特邀发言人,譬如O’Reilly 的Strata 大数据系列会议。最近一次公开发表论文是在Liebertpub 的大数据期刊上。他与妻子及儿女一起居住在班加罗尔,对印度、埃及、巴比伦以及希腊古代的文化与哲学的研究非常感兴趣。
作者简介
Vijay Srinivas Agneeswaran 博士,1998 年于SVCE 的马德拉斯分校获得计算机科学与工程专业的学士学位,2001 年获取了印度理工学院马德拉斯分校的硕士学位(研究性质),2008年又获取了该校的博士学位。他曾在瑞士洛桑的联邦理工学院的分布式信息系统实验室(LSIR)担任过一年的博士后研究员。之前7 年先后就职于Oracle、Cognizant 及Impetus,对大数据及云领域的工程研发贡献颇多。目前担任Impetus 的大数据实验室的执行总监。他的研发团队在专利、论文、受邀的会议发言以及下一代产品创新方面都处于领导地位。他主要研究的领域包括大数据管理、批处理及实时分析,以及大数据的机器学习算法的实现范式。最近8 年来,他一直是计算机协会(ACM)以及电气和电子工程师协会(IEEE)的专家成员,并于2012年12 月被推选为IEEE 的资深成员。他在美国、欧洲以及印度的专利局都申请过专利(并持有美国的两项专利)。他在前沿的期刊及会议,包括IEEE transaction 上都发表过论文。他还是国内外多个会议的特邀发言人,譬如O’Reilly 的Strata 大数据系列会议。最近一次公开发表论文是在Liebertpub 的大数据期刊上。他与妻子及儿女一起居住在班加罗尔,对印度、埃及、巴比伦以及希腊古代的文化与哲学的研究非常感兴趣。
目录信息
前言
致谢
关于作者
1 引言:为什么要超越 Hadoop Map-Reduce 1
Hadoop的适用范围 3
大数据分析之机器学习实现的革命 10
第一代机器学习工具 /范式 11
第二代机器学习工具 /范式 11
第三代机器学习工具 /范式 14
小结 18
参考文献 19
2 何为伯克利数据分析栈(BDAS) 23
实现 BDAS的动机 24
Spark:动机 25
Shark:动机 26
Mesos:动机 28
BDAS的设计及架构 29
Spark:高效的集群数据处理的范式 34
Spark的弹性分布式数据集 36
Spark的实现 40
Spark VS. 分布式共享内存系统 42
RDD的表达性 44
类似 Spark的系统 45
Shark:分布式系统上的 SQL接口 46
Spark为 Shark提供的扩展 47
列内存存储 49
分布式数据加载 50
完全分区智能连接 50
分区修剪 50
机器学习的支持 51
Mesos:集群调度及管理系统 51
Mesos组件 52
资源分配 54
隔离 55
容错性 57
小结 58
参考文献 59
3 使用 Spark实现机器学习算法 66
机器学习基础知识 66
机器学习:随机森林示例 68
逻辑回归:概述 72
二元形式的逻辑回归 73
逻辑回归估计 75
多元逻辑回归 76
Spark中的逻辑回归算法 77
支持向量机 80
复杂决策面 81
支持向量机背后的数学原理 82
Spark中的支持向量机 84
Spark对 PMML的支持 85
PMML结构 87
PMML的生产者及消费者 92
Spark对朴素贝叶斯的 PMML支持 94
Spark对线性回归的 PMML支持 95
在 Spark中使用 MLbase进行机器学习 97
参考文献 99
4 实现实时的机器学习算法 101
Storm简介 101
数据流 103
拓扑 104
Storm集群 105
简单的实时计算例子 106
数据流组 108
Storm的消息处理担保 109
基于 Storm的设计模式 111
分布式远程过程调用 111
Trident:基于 Storm的实时聚合 115
实现基于 Storm的逻辑回归算法 116
实现基于 Storm的支持向量机算法 120
Storm对朴素贝叶斯 PMML的支持 122
实时分析的应用 126
工业日志分类 126
互联网流量过滤器 130
Storm的替代品 131
Spark流 133
D-Streams的动机 133
参考文献 135
5 图处理范式 138
Pregel:基于 BSP的图处理框架 139
类似的做法 141
开源的 Pregel实现 143
Giraph 143
GoldenORB 145
Phoebus 145
Apache Hama 146
Stanford GPS 146
GraphLab 147
GraphLab:多核版本 148
分布式的 GraphLab 150
PowerGraph 152
通过 GraphLab实现网页排名算法 156
顶点程序 158
基于 GraphLab实现随机梯度下降算法 163
参考文献 167
6 结论:超越Hadoop Map-Reduce的大数据分析 171
Hadoop YARN概览 172
Hadoop YARN的动机 172
作为资源调度器的 YARN 174
YARN上的其他框架 175
大数据分析的未来是怎样的 177
参考文献 180
附录A 代码笔记 182
· · · · · · (收起)
读后感
用户评价
我原本抱着一丝怀疑的态度开始阅读,担心这又是一本炒作概念的“速成书”,但很快我就被它扎实的理论基础和严谨的逻辑链条所折服。这本书的精彩之处在于,它敢于解构那些看似神圣不可侵犯的传统数据分析范式。它没有盲目推崇某一个特定的开源工具或平台,而是从更底层的计算原理出发,探讨了在海量数据环境下,计算资源和时间成本的权衡艺术。书中关于“因果推断”在非实验数据中的应用讨论,尤为精妙,它提供了一整套严谨的框架,帮助我们区分“相关性”和“真实的影响力”。这种对分析深度和严谨性的追求,让这本书在众多浮躁的读物中脱颖而出。读完之后,我感觉自己对数据背后的“因果链条”的敏感度提高了好几个档次,不会再轻易被表面的相关性所迷惑,这在商业预测和风险评估中是至关重要的能力提升。
这本书给我的整体感觉是,它在谈论一个我们每天都在面对的现实——数据的洪流——但它提供的是一艘全新的、能够抵御巨浪的“数据方舟”的设计蓝图。它的语言风格非常具有煽动性,但这种煽动性不是空泛的口号,而是建立在对技术前沿深刻理解之上的必然推导。特别是关于“人机协作”在数据洞察生成中的角色分配,书中给出的论述非常富有启发性,它并不鼓吹机器取代人类,而是强调如何通过巧妙的接口设计,让人类的直觉和机器的算力实现最优的化学反应。我个人认为,这本书最具有价值的部分在于它对“数据伦理”和“分析偏见”的讨论,将之融入到数据生命周期的每一个环节,体现了作者高度的社会责任感和前瞻性视野。这本书是那种读完之后,你会忍不住想立刻找人一起讨论,并且开始尝试在工作中落地实践的“行动派”巨著。
坦白说,这本书的阅读门槛不算低,它假定读者已经对基础的统计学和编程逻辑有所了解。但这正是它价值所在——它没有浪费笔墨在基础概念上,而是直接跳到了“如何用创新的方法论来武装自己”的层面上。我最欣赏它对“数据治理”这个老生常谈话题的全新解读。作者没有停留在合规和安全这些基础层面,而是将其提升到了“数据资产的激活”这一战略高度。书中对于如何建立一个能够自我学习、自我优化的数据反馈回路的描述,简直是一场技术与管理的完美联姻。它让我清晰地看到,一个组织在数据驱动转型中,最大的瓶颈往往不是工具的落后,而是思维的僵化。书中提出的那些关于“反脆弱性”的数据系统设计原则,给我带来了极大的启发,让我开始重新审视我们现有系统的冗余设计是否真的能抵御未来的冲击。这本书更像是一份给数据架构师和高层决策者提供的“行动路线图”,而非简单的技术手册。
这本书的叙述风格非常像一位经验丰富的老船长在讲述他航行于数据海洋中的惊险故事。它没有那种刻板的教科书腔调,而是充满了对现有行业规范的挑战欲和对未来可能性的无限憧憬。我特别喜欢它在讲述复杂算法时,总是能巧妙地穿插一些关于商业决策的思考。比如,它如何论证在某些场景下,放弃绝对的精确性,转而追求快速的概率性洞察,反而能带来更高的商业价值。这种对“度”的把握,是很多纯技术书籍所缺乏的。阅读过程中,我感觉自己不是在被动接收知识,而是在与一位同行者进行一场高强度的智力对话。它对“数据孤岛”问题的剖析极其到位,提出的解决方案也极具前瞻性,不再是简单的技术集成,而是上升到了组织文化和流程再造的层面。这本书的厚重感并非来自于篇幅,而是源于其内容密度,每一页都像是经过了反复打磨的真知灼见,让人不得不放慢速度,细细品味,生怕错过任何一个关键的转折点。
这本书,简直是打开了我对信息处理方式的一个全新认知的大门。我原本以为自己对数据分析已经有了相当的了解,但读完之后才发现,我过去所掌握的那些方法,在面对海量、复杂数据流时,是多么的捉襟见肘。这本书没有沉溺于那些学院派的理论堆砌,而是直击痛点,用一系列极具实战价值的案例,展示了如何构建一个真正能够“颠覆”传统思维的数据架构。尤其让我印象深刻的是它对实时数据流处理和非结构化数据挖掘的深入探讨,作者似乎有一种魔力,能将那些晦涩难懂的技术概念,转化为清晰、可操作的步骤。它让我意识到,未来的竞争不再是谁拥有更多数据,而是谁能更快、更深层次地从数据中提取洞察。那种醍醐灌顶的感觉,不仅仅是知识上的增长,更是一种思维模式的重塑。如果你还在用传统的数据仓库思维来处理互联网时代的数据,那么这本书就是你急需的“清醒剂”。它不仅仅是一本技术指南,更像是一部关于未来数据哲学的宣言,迫使你重新审视“分析”的真正含义。
扫盲加简单examples
扫盲好书,告诉你什么情况下适合用什么框架架构 ,暴露了很多框架架构的优缺点,可以使我们更好地了解到各种大数据平台的特性。就是书好小小的一本,居然49块钱,还好图书馆有。
全干货,对于平台的入门非常好,介绍了Hadoop平台现存的缺陷和目前的解决方案
很好的入门书
没怎么读懂