具体描述
大数据：互联网大规模数据挖掘与分布式处理，ISBN：9787115291318，作者：（美） Anand Rajaraman （美） Jeffrey David Ullman 著，王 斌 译
作者简介
Anand Rajaraman 数据库和Web技术领域权威，创业投资基金Cambrian联合创始人，斯坦福大学计算机科学系助理教授。Rajaraman职业生涯非常成功：1996年创办Junglee公司，两年后该公司被亚马逊以2.5亿美元收购，Rajaraman被聘为亚马 逊技术总监，推动亚马逊从一个零售商转型为零售平台；2000年与人合创Cambrian，孵化出几个后来被谷歌收购的公司；2005年创办Kosmix公司并任CEO，该公司2011年被沃尔玛集团收购。Rajaraman生于印度，在斯坦福大学获得计算机科学硕士和博士学位。求学期间与人合著的一篇论文荣列近20年来被引用次数最多的论文之一。博客地址http://anand.typepad.com/datawocky/。
Jeffrey David Ullman 美国国家工程院院士，计算机科学家，斯坦福大学教授。Ullman早年在贝尔实验室工作，之后任教于普林斯顿大学，十年后加入斯坦福大学直至退休，一生的科研、著书和育人成果卓著。他是ACM会员，曾获SIGMOD贡献奖、Knuth奖等多项科研大奖；他是“龙书”《编译原理》、数据库领域权威指南《数据库系统实现》的合著者；麾下多名学生成为了数据库领域的专家，其中最有名的当属谷歌创始人Sergey Brin；本书第一作者也是他的得意弟子。Ullman目前任Gradiance公司CEO。
王斌 博士，中国科学院计算技术研究所博士生导师。中国科学院信息工程研究所客座研究员。主要研究方向为信息检索、自然语言处理和数据挖掘。《信息检索导论》译者。主持国家973、863、国家自然科学基金、国际合作基金、国家支撑计划等课题20余项，发表学术论文120余篇。现为ACM会员、中国中文信息学会理事、中文信息学会信息检索专委会委员、《中文信息学报》编委、中国计算机学会高级会员及计算机学会中文信息处理专委会委员。自2006年起在中国科学院研究生院（现改名“中国科学院大学”）讲授《现代信息检索》研究生课程，选课人数累计近千人。2001年开始指导研究生，迄今培养博士、硕士研究生30余名。
目录信息
第1章 数据挖掘基本概念 1
1.1 数据挖掘的定义 1
1.1.1 统计建模 1
1.1.2 机器学习 1
1.1.3 建模的计算方法 2
1.1.4 数据汇总 2
1.1.5 特征抽取 3
1.2 数据挖掘的统计限制 4
1.2.1 整体情报预警 4
1.2.2 邦弗朗尼原理 4
1.2.3 邦弗朗尼原理的一个例子 5
1.2.4 习题 6
1.3 相关知识 6
1.3.1 词语在文档中的重要性 6
1.3.2 哈希函数 7
1.3.3 索引 8
1.3.4 二级存储器 10
1.3.5 自然对数的底e 10
1.3.6 幂定律 11
1.3.7 习题 12
1.4 本书概要 13
1.5 小结 14
1.6 参考文献 14
第2章 大规模文件系统及Map-Reduce 16
2.1 分布式文件系统 16
2.1.1 计算节点的物理结构 17
2.1.2 大规模文件系统的结构 18
2.2 Map-Reduce 18
2.2.1 Map任务 19
2.2.2 分组和聚合 20
2.2.3 Reduce任务 20
2.2.4 组合器 21
2.2.5 Map-Reduce的执行细节 21
2.2.6 节点失效的处理 22
2.3 使用Map-Reduce的算法 22
2.3.1 基于Map-Reduce的矩阵—向量乘法实现 23
2.3.2 向量v无法放入内存时的处理 23
2.3.3 关系代数运算 24
2.3.4 基于Map-Reduce的选择运算 26
2.3.5 基于Map-Reduce的投影运算 26
2.3.6 基于Map-Reduce的并、交和差运算 27
2.3.7 基于Map-Reduce的自然连接运算 27
2.3.8 一般性的连接算法 28
2.3.9 基于Map-Reduce的分组和聚合运算 28
2.3.10 矩阵乘法 29
2.3.11 基于单步Map-Reduce的矩阵乘法 29
2.3.12 习题 30
2.4 Map-Reduce的扩展 31
2.4.1 工作流系统 31
2.4.2 Map-Reduce的递归扩展版本 32
2.4.3 Pregel系统 34
2.4.4 习题 35
2.5 集群计算算法的效率问题 35
2.5.1 集群计算的通信开销模型 35
2.5.2 实耗通信开销 36
2.5.3 多路连接 37
2.5.4 习题 40
2.6 小结 40
2.7 参考文献 42
第3章 相似项发现 44
3.1 近邻搜索的应用 44
3.1.1 集合的Jaccard相似度 44
3.1.2 文档的相似度 45
3.1.3 协同过滤——一个集合相似问题 46
3.1.4 习题 47
3.2 文档的Shingling 47
3.2.1 k-Shingle 47
3.2.2 shingle大小的选择 48
3.2.3 对shingle进行哈希 48
3.2.4 基于词的shingle 49
3.2.5 习题 49
3.3 保持相似度的集合摘要表示 49
3.3.1 集合的矩阵表示 50
3.3.2 最小哈希 50
3.3.3 最小哈希及Jaccard相似度 51
3.3.4 最小哈希签名 52
3.3.5 最小哈希签名的计算 52
3.3.6 习题 54
3.4 文档的局部敏感哈希算法 55
3.4.1 面向最小哈希签名的LSH 56
3.4.2 行条化策略的分析 57
3.4.3 上述技术的综合 58
3.4.4 习题 59
3.5 距离测度 59
3.5.1 距离测度的定义 59
3.5.2 欧氏距离 60
3.5.3 Jaccard距离 60
3.5.4 余弦距离 61
3.5.5 编辑距离 62
3.5.6 海明距离 63
3.5.7 习题 63
3.6 局部敏感函数理论 64
3.6.1 局部敏感函数 65
3.6.2 面向Jaccard距离的局部敏感函数族 66
3.6.3 局部敏感函数族的放大处理 66
3.6.4 习题 68
3.7 面向其他距离测度的LSH函数族 68
3.7.1 面向海明距离的LSH函数族 69
3.7.2 随机超平面和余弦距离 69
3.7.3 梗概 70
3.7.4 面向欧氏距离的LSH函数族 71
3.7.5 面向欧氏空间的更多LSH函数族 72
3.7.6 习题 72
3.8 LSH函数的应用 73
3.8.1 实体关联 73
3.8.2 一个实体关联的例子 74
3.8.3 记录匹配的验证 74
3.8.4 指纹匹配 75
3.8.5 适用于指纹匹配的LSH函数族 76
3.8.6 相似新闻报道检测 77
3.8.7 习题 78
3.9 面向高相似度的方法 79
3.9.1 相等项发现 79
3.9.2 集合的字符串表示方法 79
3.9.3 基于长度的过滤 80
3.9.4 前缀索引 81
3.9.5 位置信息的使用 82
3.9.6 使用位置和长度信息的索引 83
3.9.7 习题 85
3.10 小结 85
3.11 参考文献 87
第4章 数据流挖掘 89
4.1 流数据模型 89
4.1.1 一个数据流管理系统 89
4.1.2 流数据源的例子 90
4.1.3 流查询 91
4.1.4 流处理中的若干问题 92
4.2 流当中的数据抽样 92
4.2.1 一个富于启发性的例子 93
4.2.2 代表性样本的获取 93
4.2.3 一般的抽样问题 94
4.2.4 样本规模的变化 94
4.2.5 习题 95
4.3 流过滤 95
4.3.1 一个例子 95
4.3.2 布隆过滤器 96
4.3.3 布隆过滤方法的分析 96
4.3.4 习题 97
4.4 流中独立元素的数目统计 98
4.4.1 独立元素计数问题 98
4.4.2 FM算法 98
4.4.3 组合估计 99
4.4.4 空间需求 100
4.4.5 习题 100
4.5 矩估计 100
4.5.1 矩定义 100
4.5.2 二阶矩估计的AMS算法 101
4.5.3 AMS算法有效的原因 102
4.5.4 更高阶矩的估计 103
4.5.5 无限流的处理 103
4.5.6 习题 104
4.6 窗口内的计数问题 105
4.6.1 精确计数的开销 105
4.6.2 DGIM算法 105
4.6.3 DGIM算法的存储需求 107
4.6.4 DGIM算法中的查询应答 107
4.6.5 DGIM条件的保持 108
4.6.6 降低错误率 109
4.6.7 窗口内计数问题的扩展 109
4.6.8 习题 110
4.7 衰减窗口 110
4.7.1 最常见元素问题 110
4.7.2 衰减窗口的定义 111
4.7.3 最流行元素的发现 111
4.8 小结 112
4.9 参考文献 113
第5章 链接分析 115
5.1 PageRank 115
5.1.1 早期的搜索引擎及词项作弊 115
5.1.2 PageRank的定义 117
5.1.3 Web结构 119
5.1.4 避免终止点 121
5.1.5 采集器陷阱及“抽税”法 123
5.1.6 PageRank在搜索引擎中的使用 125
5.1.7 习题 125
5.2 PageRank的快速计算 126
5.2.1 转移矩阵的表示 127
5.2.2 基于Map-Reduce的PageRank迭代计算 128
5.2.3 结果向量合并时的组合器使用 128
5.2.4 转移矩阵中块的表示 129
5.2.5 其他高效的PageRank迭代方法 130
5.2.6 习题 131
5.3 面向主题的PageRank 131
5.3.1 动机 131
5.3.2 有偏的随机游走模型 132
5.3.3 面向主题的PageRank的使用 133
5.3.4 基于词汇的主题推断 134
5.3.5 习题 134
5.4 链接作弊 135
5.4.1 垃圾农场的架构 135
5.4.2 垃圾农场的分析 136
5.4.3 与链接作弊的斗争 137
5.4.4 TrustRank 137
5.4.5 垃圾质量 137
5.4.6 习题 138
5.5 导航页和权威页 139
5.5.1 HITS的直观意义 139
5.5.2 导航度和权威度的形式化 139
5.5.3 习题 142
5.6 小结 143
5.7 参考文献 145
第6章 频繁项集 146
6.1 购物篮模型 146
6.1.1 频繁项集的定义 146
6.1.2 频繁项集的应用 148
6.1.3 关联规则 149
6.1.4 高可信度关联规则的发现 150
6.1.5 习题 151
6.2 购物篮及A-Priori算法 152
6.2.1 购物篮数据的表示 152
6.2.2 项集计数中的内存使用 153
6.2.3 项集的单调性 154
6.2.4 二元组计数 155
6.2.5 A-Priori算法 155
6.2.6 所有频繁项集上的A-Priori算法 157
6.2.7 习题 158
6.3 更大数据集在内存中的处理 159
6.3.1 PCY算法 160
6.3.2 多阶段算法 161
6.3.3 多哈希算法 163
6.3.4 习题 164
6.4 有限扫描算法 166
6.4.1 简单的随机化算法 166
6.4.2 抽样算法中的错误规避 167
6.4.3 SON算法 168
6.4.4 SON算法和Map-Reduce 168
6.4.5 Toivonen算法 169
6.4.6 Toivonen算法的有效性分析 170
6.4.7 习题 170
6.5 流中的频繁项计数 171
6.5.1 流的抽样方法 171
6.5.2 衰减窗口中的频繁项集 172
6.5.3 混合方法 172
6.5.4 习题 173
6.6 小结 173
6.7 参考文献 175
第7章 聚类 176
7.1 聚类技术介绍 176
7.1.1 点、空间和距离 176
7.1.2 聚类策略 177
7.1.3 维数灾难 178
7.1.4 习题 179
7.2 层次聚类 179
7.2.1 欧氏空间下的层次聚类 180
7.2.2 层次聚类算法的效率 183
7.2.3 控制层次聚类的其他规则 183
7.2.4 非欧空间下的层次聚类 185
7.2.5 习题 186
7.3 k-均值算法 187
7.3.1 k-均值算法基本知识 187
7.3.2 k-均值算法的簇初始化 187
7.3.3 选择k的正确值 188
7.3.4 BFR算法 189
7.3.5 BFR算法中的数据处理 191
7.3.6 习题 192
7.4 CURE算法 193
7.4.1 CURE算法的初始化 194
7.4.2 CURE算法的完成 195
7.4.3 习题 195
7.5 非欧空间下的聚类 196
7.5.1 GRGPF算法中的簇表示 196
7.5.2 簇表示树的初始化 196
7.5.3 GRGPF算法中的点加入 197
7.5.4 簇的分裂及合并 198
7.5.5 习题 199
7.6 流聚类及并行化 199
7.6.1 流计算模型 199
7.6.2 一个流聚类算法 200
7.6.3 桶的初始化 200
7.6.4 桶合并 200
7.6.5 查询应答 202
7.6.6 并行环境下的聚类 202
7.6.7 习题 203
7.7 小结 203
7.8 参考文献 205
第8章 Web广告 207
8.1 在线广告相关问题 207
8.1.1 广告机会 207
8.1.2 直投广告 208
8.1.3 展示广告的相关问题 208
8.2 在线算法 209
8.2.1 在线和离线算法 209
8.2.2 贪心算法 210
8.2.3 竞争率 211
8.2.4 习题 211
8.3 广告匹配问题 212
8.3.1 匹配及完美匹配 212
8.3.2 最大匹配贪心算法 213
8.3.3 贪心匹配算法的竞争率 213
8.3.4 习题 214
8.4 Adwords问题 214
8.4.1 搜索广告的历史 215
8.4.2 Adwords问题的定义 215
8.4.3 Adwords问题的贪心方法 216
8.4.4 Balance算法 217
8.4.5 Balance算法竞争率的一个下界 217
8.4.6 多投标者的Balance算法 219
8.4.7 一般性的Balance算法 220
8.4.8 Adwords问题的最后论述 221
8.4.9 习题 221
8.5 Adwords的实现 221
8.5.1 投标和搜索查询的匹配 222
8.5.2 更复杂的匹配问题 222
8.5.3 文档和投标之间的匹配算法 223
8.6 小结 224
8.7 参考文献 226
第9章 推荐系统 227
9.1 一个推荐系统的模型 227
9.1.1 效用矩阵 227
9.1.2 长尾现象 228
9.1.3 推荐系统的应用 230
9.1.4 效用矩阵的填充 230
9.2 基于内容的推荐 231
9.2.1 项模型 231
9.2.2 文档的特征发现 231
9.2.3 基于Tag的项特征获取 232
9.2.4 项模型的表示 233
9.2.5 用户模型 234
9.2.6 基于内容的项推荐 235
9.2.7 分类算法 235
9.2.8 习题 237
9.3 协同过滤 238
9.3.1 相似度计算 238
9.3.2 相似度对偶性 241
9.3.3 用户聚类和项聚类 242
9.3.4 习题 243
9.4 降维处理 243
9.4.1 UV分解 244
9.4.2 RMSE 244
9.4.3 UV分解的增量式计算 245
9.4.4 对任一元素的优化 247
9.4.5 一个完整UV分解算法的构建 248
9.4.6 习题 250
9.5 NetFlix竞赛 250
9.6 小结 251
9.7 参考文献 253
索引 254
· · · · · · (收起)
读后感
看到开篇的两个例子，一个是地图聚类分析伦敦病毒问题，另一个是概率统计的例子。对本书还挺有期望。结果翻到第三章开始，这。。 尼玛整本书就是个目录啊。全书结构如下：知识点，摘要，奇葩的例子，习题。 然后另一个知识点，知识点，识点。。 如果为了平时聊天增加些谈资偶...
当今时代大规模数据爆炸的速度是惊人的，当然，其应用也是越来越广泛的，从传统的零售业到复杂的商业世界，到处都能见到它的身影。那么大数据有什么典型特征呢？即数据类型繁多、数据体量巨大、价值密度低即处理速度快。本书也正是将注意力集中在了极大规模数据上的挖掘，而且...
并非传统的”数据挖掘”教材，更像是，“数据挖掘”在互联网的应用场景，所遇到的问题（数据量大）和解决方案； 不过老实说，这本书挺不好懂的。 大概 get 了几个不错的思想： 思想-1：务必充分利用数据的”稀疏性”，如数据充分稀疏时，可以利用 HASH 将数据“聚合”成“有效...
并非传统的”数据挖掘”教材，更像是，“数据挖掘”在互联网的应用场景，所遇到的问题（数据量大）和解决方案； 不过老实说，这本书挺不好懂的。 大概 get 了几个不错的思想： 思想-1：务必充分利用数据的”稀疏性”，如数据充分稀疏时，可以利用 HASH 将数据“聚合”成“有效...
用户评价
这本书简直像打开了一个潘多拉的盒子，里面装满了各种各样我从未想象过的可能性。初读时，我甚至有点不知所措，信息量太大，术语也层出不穷。但随着我一点点地深入，那些原本陌生的概念逐渐在我脑海中清晰起来。我开始理解，原来我们每天产生的海量数据，并不是简单的数字堆砌，而是蕴藏着巨大的价值，等待着被发掘。书中详细地阐述了如何从这些看似杂乱无章的数据中提取出有用的信息，如何通过各种算法和工具去分析、预测，甚至改变我们的生活方式。尤其令我印象深刻的是，作者用了很多生动的案例来解释抽象的理论，比如通过分析用户的购物习惯来推荐商品，或者通过监测交通流量来优化城市规划。这些案例让我觉得，大数据不再是遥不可及的技术名词，而是切实地影响着我们的方方面面。读完这本书，我感觉自己对这个世界有了全新的认知，也对未来的发展充满了好奇。这绝对是一本能够拓宽视野、激发思考的佳作，强烈推荐给所有对科技和未来感兴趣的朋友们。
我一直以为自己对科技领域的信息还算敏感，但这本书的出现，让我意识到自己之前的认知是多么的局限。它像一个精巧的万花筒，将我之前零散的、模糊的关于数据、算法、人工智能的认知，瞬间组合成了清晰而壮丽的图景。书中对大数据处理流程的梳理，从数据采集、存储、清洗到分析和应用，每一步都讲解得详略得当，逻辑严谨。我特别佩服作者在复杂技术概念上的阐释能力，那些原本可能让我望而却步的数学模型和统计学原理，在书中被巧妙地“翻译”成了易于理解的语言，甚至还穿插了一些有趣的类比和故事。让我印象深刻的是，书中不仅介绍了大数据在商业领域的应用，还拓展到了医疗、科研、公共服务等多个领域，让我看到了大数据改变世界的广阔前景。读这本书，感觉就像是在进行一次高强度的头脑风暴，但又充满了发现的乐趣。它让我开始重新审视我所处的这个信息爆炸的时代，并对如何更好地利用数据、如何应对数据带来的挑战有了更深刻的理解。
坦白说，这本书的厚度一开始让我有些犹豫，但当我真正沉浸其中后，才发现时间过得飞快。它就像一座宏伟的知识殿堂，里面陈列着各种精美的“数据宝石”。作者并没有停留在技术层面的讲解，而是深入探讨了大数据对社会结构、商业模式以及个人生活所带来的深远影响。我被书中关于“数据驱动决策”的理念深深打动，它强调了基于客观数据进行判断的重要性，这对于我们这个信息过载但常常缺乏洞察力的时代来说，无疑是醍醐灌顶。书中对新兴技术趋势的预测，也让我感到耳目一新，尤其是关于人工智能与大数据的融合，以及未来个性化定制的无限可能。读完这本书，我感觉自己不再是被动地接受信息，而是能够主动地去理解和分析这个世界。它不仅提升了我的专业认知，更重要的是，它激发了我对未来发展方向的思考，让我对接下来的学习和工作有了更清晰的规划。
这本书的语言风格非常吸引人，不像我之前读过的技术书籍那样严肃刻板。作者像是我的一个老朋友，用一种非常轻松、幽默的口吻，向我介绍了一个庞大而迷人的世界。书中对大数据价值的挖掘，让我大开眼界。我从未想过，那些看似不起眼的用户行为、设备日志，竟然能够被转化为如此有价值的信息。作者通过大量鲜活的案例，生动地展示了大数据在各个行业如何发挥作用，例如精准营销、风险控制、客户体验优化等等。我印象最深刻的是，书中提到了一个关于“预测性维护”的案例，通过分析设备运行数据，能够提前预警潜在的故障，大大减少了停机时间和维修成本。这让我觉得，大数据不仅仅是关于“知道”什么，更是关于“预测”和“优化”。这本书让我看到了技术的力量，也让我开始思考，如何将这些大数据思维应用到自己的工作和生活中，去发现那些隐藏的规律，去做出更明智的决策。
我承认，在翻开这本书之前，我对“大数据”这个词的理解非常浅显，甚至有些抵触，觉得它听起来像是某种冷冰冰、不近人情的技术。但这本书完全颠覆了我的固有印象。它不是一本枯燥的技术手册，而更像是一位睿智的长者，用充满温度的语言，为我娓娓道来这个时代的脉搏。书中探讨的不仅仅是技术本身，更深入地触及了数据背后的人性、社会和伦理问题。我被书中对数据偏见、隐私保护以及算法公平性的讨论深深吸引。作者并没有回避这些复杂而敏感的话题，而是以一种开放和负责任的态度，引导读者去思考这些技术发展所带来的双刃剑效应。我尤其喜欢书中对未来社会形态的设想，那些基于大数据分析而实现的个性化服务、智能决策，既让人感到振奋，也引发了我对技术与人类关系的深层思考。读这本书，与其说是学习一项技术，不如说是一次关于未来、关于我们与数据共存方式的深度对话。它让我感到，大数据并非冰冷的机器语言，而是连接人与世界、连接过去与未来的桥梁。
勘误：http://ir.ict.ac.cn/~wangbin/mmd-book/index.htm
纯教材。翻译水分偏大。入门级~
比起一般的DM教材，多讨论了当数据量非常大时的处理方法。每章的小结是亮点，浅显精炼。
名字有些哗众取宠。其实本书就是介绍了一些基本的数据挖掘的概念，但是只有很少的几节才给出了在Massive Data时该做的处理和优化；本书还是比较适合有着一定经验的人来填补自己的知识空缺，或者放在办公桌旁偶尔查阅。最后，这本书翻译的真的很烂。
前面的部分介绍MapReduce/LSH/流数据处理很精彩，不过后面的部分比如广告的机制设计和推荐什么的似乎几乎较少结合大数据的特点。总体来说面挺广的，不太深入。
