具体描述
目前大数据技术已经日趋成熟，但是业界发现与大数据相关的产品设计和研发仍然非常困难，技术、产品和商业的结合度还远远不够。这主要是因为大数据涉及范围广、技术含量高、更新换代快，门槛也比其他大多数IT行业更高。人们要么使用昂贵的商业解决方案，要么花费巨大的精力摸索。本书通过一个虚拟的互联网O2O创业故事，来逐步展开介绍创业各个阶段可能遇到的大数据课题、业务需求，以及相对应的技术方案，甚至是实践解析；让读者身临其境，一起来探寻大数据的奥秘。书中会覆盖较广泛的技术点，并提供相应的背景知识介绍，对于想进一步深入研究细节的读者，也可轻松获得继续阅读的方向和指导性建议。
作者简介
黄申，博士，毕业于上海交通大学计算机科学与工程专业，师从俞勇教授。微软学者，IBMExtremeBlue天才计划成员。长期专注于大数据相关的搜索、推荐、广告以及用户精准化领域。曾在微软亚洲研究院、eBay中国、沃尔玛1号店和大润发飞牛网担任要职，带队完成了若干公司级的战略项目。同时著有20多篇国际论文和10多项国际专利，兼任《计算机工程》期刊特邀审稿专家。因其对业界的卓越贡献，2015年获得美国政府颁发的“美国杰出人才”称号。
目录信息
推荐序二
前 言
第1章 抉择 1
第2章 数据收集 4
2.1 互联网数据收集 4
2.1.1 网络爬虫 5
2.1.2 Apache Nutch简介 11
2.1.3 Heritrix简介 14
2.2 内部数据收集 15
2.2.1 Apache Flume简介 17
2.2.2 Facebook Scribe和Logstash 21
2.3 本章心得 21
2.4 参考资料 22
第3章 数据存储 23
3.1 持久化存储 23
3.1.1 Hadoop和HDFS 25
3.1.2 HBase简介 28
3.1.3 MongoDB 35
3.2 非持久化存储 37
3.2.1 缓存和散列 37
3.2.2 Memcached和Berkeley DB简介 41
3.2.3 Redis简介 41
3.3 本章心得 44
3.4 参考资料 44
第4章 数据处理 46
4.1 离线批量处理 46
4.1.1 Hadoop的MapReduce 47
4.1.2 Spark简介 52
4.1.3 Hive简介 53
4.1.4 Pig、Impala和Spark SQL 56
4.2 提升及时性：消息机制 58
4.2.1 ActiveMQ简介 60
4.2.2 Kafka简介 61
4.3 在线实时处理 63
4.3.1 Storm简介 63
4.3.2 Spark Streaming简介 66
4.4 本章心得 66
4.5 参考资料 67
第5章 信息检索 69
5.1 基本理念 70
5.2 相关性 70
5.2.1 布尔模型 70
5.2.2 基于排序的布尔模型 71
5.2.3 向量空间模型 74
5.2.4 语言模型 75
5.3 及时性 77
5.4 与数据库查询的对比 81
5.5 搜索引擎 82
5.5.1 Web搜索中的链接分析 83
5.5.2 电子商务中的商品排序 86
5.5.3 多因素和基于学习的排序 88
5.5.4 系统框架 89
5.5.5 Lucene简介 93
5.5.6 Solr简介 98
5.5.7 Elasticsearch简介 104
5.6 推荐系统 108
5.6.1 推荐的核心要素 109
5.6.2 推荐系统的分类 110
5.6.3 混合模型 115
5.6.4 系统架构 116
5.6.5 Mahout 116
5.7 在线广告 119
5.8 本章心得 127
5.9 参考资料 128
第6章 数据挖掘 130
6.1 基本理念 131
6.2 数据的表示和预处理 133
6.3 机器学习算法 136
6.4 挖掘工具 157
6.5 本章心得 165
6.6 参考资料 165
第7章 效能评估 167
7.1 效果评估 168
7.2 性能评估 190
7.3 本章心得 202
7.4 参考资料 202
第8章 大数据技术全景 204
第9章 商品太多啦！需要搜索引擎 207
9.1 业务需求 207
9.2 产品设计和技术选型 208
9.3 实现方案 211
第10章 能否更主动？还需要推荐引擎 223
10.1 业务需求 223
10.2 产品设计和技术选型 225
10.3 实现方案 230
第11章 这样做的效果如何 241
11.1 业务需求 241
11.2 产品设计和技术选型 242
11.3 实现方案 243
第12章 这个搜索有点逊 258
12.1 业务需求：还要搜得更多 258
12.2 “还要搜得更多”：产品设计和技术选型 259
12.3 “还要搜得更多”的方案实现 261
12.4 业务需求：还要搜得更准 265
12.5 “还要搜得更准”：产品设计和技术选型 266
12.6 “还要搜得更准”的方案实现 271
12.7 业务需求：还要更快 273
12.8 还要“变”得更快：产品设计和技术选型 274
12.9 还要“搜”得更快：产品设计和技术选型 275
12.10 业务需求：给点提示吧 280
12.11 给点提示吧：产品设计和技术选型 282
第13章 支持更高效的运营 287
13.1 业务需求：互联网时代的CRM 287
13.2 互联网时代的CRM：产品设计和技术选型 288
13.3 业务需求：抓住捣蛋鬼 291
13.4 抓住捣蛋鬼：产品设计和技术选型 292
13.5 业务需求：销售之战 295
13.6 销售之战：产品设计和技术选型 296
后记 299
· · · · · · (收起)
读后感
这是我迄今为止看到的关于业务与技术融合的最好的大数据领域初中级适用的案头书籍，没有之一。作者从业务需求出发详述了数据采集、数据整理、数据存储、数据分析，应用场景的概念、方法、技术以及开源的产品分析，功能、优缺点，涉及到应用场景的部分详细给出了模型、常用算法...
这是我迄今为止看到的关于业务与技术融合的最好的大数据领域初中级适用的案头书籍，没有之一。作者从业务需求出发详述了数据采集、数据整理、数据存储、数据分析，应用场景的概念、方法、技术以及开源的产品分析，功能、优缺点，涉及到应用场景的部分详细给出了模型、常用算法...
这是我迄今为止看到的关于业务与技术融合的最好的大数据领域初中级适用的案头书籍，没有之一。作者从业务需求出发详述了数据采集、数据整理、数据存储、数据分析，应用场景的概念、方法、技术以及开源的产品分析，功能、优缺点，涉及到应用场景的部分详细给出了模型、常用算法...
刚拿到书时，看到书名感觉像是一本讲商业与产品的书，一开始我关键的关键词是“大数据”、“商业”、“业务需求”，但实际阅读完书籍，可能就会与最初的印象有所不一样，在我的理解中，作者的主线更接近于**“大数据——技术方案——架构——业务需求——商业”** ，这本书实际...
这是我迄今为止看到的关于业务与技术融合的最好的大数据领域初中级适用的案头书籍，没有之一。作者从业务需求出发详述了数据采集、数据整理、数据存储、数据分析，应用场景的概念、方法、技术以及开源的产品分析，功能、优缺点，涉及到应用场景的部分详细给出了模型、常用算法...
用户评价
我必须说，这本书的深度和广度都超出了我的预期。它不仅仅是关于大数据技术的堆砌，而是将技术与商业战略进行了高度的结合，提供了一个全面的视角来看待大数据在企业发展中的作用。书中的“数据驱动型企业”模型，为我构建了一个清晰的蓝图，它详细阐述了从数据采集、存储、处理到分析、应用的全流程，以及支撑这些流程所需的组织架构、人才培养和技术基础设施。作者对于数据安全与隐私的关注，也让我印象深刻，在强调数据价值的同时，也警示了合规经营的重要性。尤其让我受益的是，书中关于“数据伦理”的讨论，在日益强调用户体验和个性化服务的大环境下，如何平衡商业利益与用户隐私，是一个亟待解决的问题，而这本书提供了一些宝贵的思考方向。我尤其欣赏作者在阐述复杂概念时，所采用的层层递进、循序渐进的逻辑，使得即使是对大数据领域不太熟悉的读者，也能逐步理解其核心思想。这本书对我来说，不仅仅是一本技术指南，更是一本关于如何利用数据重塑商业模式的战略教科书。它让我对大数据在未来商业竞争中的核心地位有了更深刻的认识，也为我指明了前进的方向。
这本书绝对是我近期读到的一本“硬核”读物，它深入浅出地剖析了大数据技术如何与商业战略深度融合，为企业转型升级提供了清晰的路径。作者并非泛泛而谈，而是通过大量的真实案例，比如金融机构如何利用大数据精准风控，零售企业如何通过用户画像优化营销策略，以及制造业如何通过海量数据提升生产效率，展示了大数据的商业落地能力。最让我印象深刻的是，书中不仅仅停留在技术层面，更强调了组织架构、人才培养以及数据文化建设的重要性。它提醒我们，再先进的技术，如果没有与之匹配的组织能力和人才储备，也只是空中楼阁。书中的“数据治理”部分尤其值得推敲，它详细阐述了如何建立一套行之有效的数据管理体系，确保数据的质量、安全与合规，这对于任何想要在大数据领域有所作为的企业来说，都是不可或缺的一环。我个人从中获益匪浅，特别是关于“数据驱动决策”的理念，它教会我如何从海量数据中提炼出有价值的信息，并将其转化为可执行的商业洞察。这本书不仅仅是给技术人员看的，更是给每一个关心企业未来发展，渴望利用数据创造价值的管理者和决策者准备的。它不是一本速成手册，而是一本需要细细品味、反复思考的工具书，是理解大数据时代商业逻辑的绝佳起点。
坦白说，这本书一开始让我有些望而却步，感觉内容会非常专业和晦涩。但出乎意料的是，作者的写作风格非常吸引人，仿佛一位经验丰富的商业顾问，娓娓道来。他没有使用太多枯燥的技术术语，而是通过大量生动的商业场景分析，来阐述大数据如何解决实际的商业问题。比如，书中对“客户生命周期价值”（CLV）的深度挖掘，以及如何利用数据分析来预测和优化CLV，让我眼前一亮。这对于任何以客户为中心的业务来说，都是至关重要的。另外，书中关于“数据生态系统”的构建，也给了我很大的启发。它不仅仅是关于内部数据的使用，更是强调了如何与其他合作伙伴共享数据，构建一个共赢的生态圈。这种全局观和系统性的思维，是在其他类似书籍中很少见到的。我特别喜欢书中关于“数据可视化”的章节，它用图表和案例展示了如何将复杂的数据转化为直观易懂的洞察，这对于决策者来说，是多么的宝贵。读完这本书，我感觉自己对大数据的商业应用有了更全面、更深入的理解，不再是碎片化的认知，而是形成了一个完整的知识体系。
哇，这本书真的打开了我的新世界大门！我一直觉得大数据离我很遥远，是那些科技巨头们的专属名词，但这本书却用一种非常接地气的方式，把我带进了大数据的商业世界。它没有堆砌复杂的术语，而是通过一个个生动的故事，比如一家传统媒体如何通过分析用户阅读习惯，成功转型为精准内容分发的平台，或者一家小型电商如何利用大数据进行个性化推荐，实现用户粘度的指数级增长。这些案例让我切实感受到，大数据并不是高高在上，而是可以渗透到我们日常商业活动的方方面面，成为企业实现差异化竞争、提升盈利能力的利器。书中关于“数据即资产”的论述，让我重新审视了数据在我们企业中的价值。它不仅仅是记录，更是潜藏着巨大商业机会的金矿。作者还花了很大篇幅讲解如何构建一个可持续的大数据应用生态，从数据采集、清洗、建模，到最终的价值实现，每一个环节都进行了详细的拆解，并且给出了非常实操性的建议。读完这本书，我感觉自己不再是那个对大数据感到迷茫的普通读者，而是对如何运用大数据驱动商业增长有了一套清晰的思路和方法。我迫不及待地想将书中的知识运用到我的工作中，去发掘更多隐藏在数据背后的商业价值。
这是一本真正能够激发思考的书。作者并没有直接给出“如何做”的秘籍，而是引导读者去理解“为什么”和“如何思考”。它探讨了在大数据时代，企业应该如何重新定义自身的商业模式，如何构建核心竞争力。书中的“数据化转型”案例分析，让我看到了不同行业企业在面对大数据浪潮时的挑战与机遇，以及他们是如何通过战略调整、技术升级和组织变革来应对的。我尤其欣赏作者对于“数据产品”的定义和设计理念，它不再是简单的数据报表，而是能够为用户提供价值、驱动商业增长的产品。书中关于“AI与大数据的结合”的部分，也让我对未来的发展趋势有了更清晰的认识。它不仅展示了AI在数据分析上的强大能力，更强调了如何将AI技术与实际的商业场景相结合，创造出颠覆性的商业价值。这本书的价值在于，它能够帮助读者建立起一种“数据思维”，学会从数据的角度去审视商业问题，去发现潜在的商业机会。它不是一本看完就丢的书，而是一本值得反复阅读、深入钻研的宝藏。
入门不错，让人对应用和技术的结合有了个基本概念
道行不够深。。。不是很懂。。虽然能明白作者很想用朴实的方式让我们懂。。。可，毕竟还是专业啊
入门看看还行
很适合我这种外行，介绍的深入浅出，一星扣给大宝的人设。正好同期在看增长黑客，隐约有那么点交集
本书的第一大部分概述了大数据的主要技术，包括大数据的获取、存储、处理，还有架构设计的基本理念，以及常用的消息和缓存机制。这一部分你会发现关于Nutch、Flume、Hadoop、HBase、Redis、Hive、Kafka、Spark、Storm等的简介。对于数据处理的高级技术，本书着墨不少，但不乏对于信息检索和数据挖掘课题的探讨。例如站内搜索引擎、推荐系统、广告系统、聚类、分类和线性回归等。由于商业需求尤其看重实际产出，因此第一部分的最后还会分析常见的效果和性能评估。 第二大部分的每个章节都是从业务需求的描述入手，然后进行需求分析，根据需求的特点，对第一大部分所涉及的备选技术进行筛选，最后是技术方案和架构的确定。不同的商业需求可能会使用类似的技术点。
