具体描述
本书从实际角度涵盖了信息检索和文本数据挖掘领域的主要概念、技术和方法,并包括许多专门设计并辅以配套软件工具包(例如META,一种数据科学工具包)的动手练习,来帮助读者学习如何运用文本挖掘和信息检索的技术来分析和处理现实世界中的文本数据,以及如何试验数据和为具体应用任务来改进一些算法。
作者简介
目录信息
译者序
前言
作者简介
第一部分 概述和背景
第1章 绪论2
1.1 文本信息系统的功能4
1.2 文本信息系统的概念框架5
1.3 本书结构安排7
1.4 如何使用本书8
书目说明和延伸阅读9
第2章 背景11
2.1 概率和统计基础11
2.1.1 联合概率和条件概率12
2.1.2 贝叶斯法则13
2.1.3 抛硬币和二项分布14
2.1.4 最大似然参数估计14
2.1.5 贝叶斯参数估计15
2.1.6 概率模型及其应用16
2.2 信息论17
2.3 机器学习19
书目说明和延伸阅读20
练习20
第3章 文本数据理解22
3.1 自然语言处理的历史和研究现状23
3.2 自然语言处理和文本信息系统24
3.3 文本表示26
3.4 统计语言模型28
书目说明和延伸阅读31
练习31
第4章 META:一个面向文本数据管理和分析的统一工具箱33
4.1 设计原则33
4.2 设置META34
4.3 架构34
4.4 用META分词35
4.5 相关工具箱37
练习38
第二部分 文本数据获取
第5章 文本数据获取概述44
5.1 获取模式:拉取与推送44
5.2 多模式互动获取45
5.3 文本检索47
5.4 文本检索与数据库检索48
5.5 文档选择与文档排序49
书目说明和延伸阅读50
练习51
第6章 检索模型52
6.1 概述52
6.2 检索函数的一般形式53
6.3 向量空间检索模型54
6.3.1 向量空间模型实例化55
6.3.2 位向量表示的表现56
6.3.3 改进的模型实例57
6.3.4 TF变换60
6.3.5 文档长度规范化62
6.3.6 基本向量空间模型的进一步改进64
6.3.7 小结65
6.4 概率检索模型65
6.4.1 查询似然检索模型67
6.4.2 文档语言模型的平滑69
6.4.3 具体的平滑方法72
书目说明和延伸阅读76
练习76
第7章 反馈78
7.1 向量空间模型中的反馈79
7.2 语言模型中的反馈81
书目说明和延伸阅读84
练习84
第8章 搜索引擎实现86
8.1 分词器86
8.2 索引器87
8.3 打分器90
8.3.1 逐个词项排序90
8.3.2 逐个文档排序90
8.3.3 过滤文档91
8.3.4 索引分片91
8.4 反馈实现92
8.5 压缩92
8.5.1 按位压缩93
8.5.2 块压缩94
8.6 高速缓存95
8.6.1 LRU缓存95
8.6.2 DBLRU缓存96
书目说明和延伸阅读96
练习97
第9章 搜索引擎评价98
9.1 引言98
9.1.1 要度量什么98
9.1.2 Cranfield评价方法98
9.2 集合检索的评价100
9.2.1 准确率和召回率100
9.2.2 F度量:准确率和召回率的结合101
9.3 有序列表的评价102
9.4 基于多级别判断标准的评价106
9.5 评价中的实际问题107
书目说明和延伸阅读110
练习110
第10章 网络搜索112
10.1 网络爬虫113
10.2 网页索引113
10.3 链接分析117
10.3.1 PageRank算法118
10.3.2 HITS算法121
10.4 排序学习122
10.5 网络搜索的未来125
书目说明和延伸阅读127
练习127
第11章 推荐系统130
11.1 基于内容的推荐131
11.2 协同过滤134
11.3 推荐系统的评价137
书目说明和延伸阅读138
练习138
第三部分 文本数据分析
第12章 文本数据分析概述142
12.1 动机:文本数据分析的应用142
12.2 文本与非文本数据:人类作为主观传感器143
12.3 文本挖掘任务概览145
第13章 词关联挖掘148
13.1 词关联挖掘的基本思想149
13.2 聚合关系的发现150
13.3 组合关系的发现153
13.4 词关联挖掘的评价159
书目说明和延伸阅读160
练习160
第14章 文本聚类162
14.1 聚类技术概述163
14.2 文档聚类164
14.2.1 凝聚层次聚类法165
14.2.2 K-均值165
14.3 词项聚类167
14.3.1 语义关联的词语167
14.3.2 点互信息169
14.3.3 先进方法169
14.4 文本聚类的评价172
书目说明和延伸阅读173
练习173
第15章 文本分类175
15.1 引言175
15.2 文本分类方法概述176
15.3 文本分类问题177
15.4 文本分类的特征177
15.5 分类算法179
15.5.1 k-近邻180
15.5.2 朴素贝叶斯181
15.5.3 线性分类器182
15.6 文本分类的评价183
书目说明和延伸阅读184
练习184
第16章 文本摘要185
16.1 文本摘要技术概述185
16.2 抽取式文本摘要186
16.3 抽象式文本摘要187
16.4 文本摘要的评价189
16.5 文本摘要的应用189
书目说明和延伸阅读190
练习190
第17章 主题分析192
17.1 用词项表示的主题193
17.2 用单词分布表示的主题196
17.3 挖掘文本中的一个主题198
17.3.1 最简单的主题模型:一元语言模型199
17.3.2 添加背景语言模型201
17.3.3 混合模型的参数估计205
17.3.4 混合模型的行为206
17.3.5 期望最大化209
17.4 概率潜在语义分析214
17.5 PLSA的扩展及潜在狄利克雷分布220
17.6 主题分
......
· · · · · · (收起)
读后感
用户评价
初读这书,我最大的感受是它的结构安排堪称教科书级别的典范。作者并没有急于抛出晦涩难懂的算法,而是采取了一种非常平缓的递进式教学方法。第一部分似乎花了不少篇幅在概念的梳理上,它没有直接跳入技术细节,而是先为读者构建了一个宏观的、关于“信息”本质的哲学和理论框架。这种打地基的过程虽然可能让一些心急的读者觉得“慢了”,但正是这种慢工出细活的态度,才确保了后续学习的稳固性。比如,它对“信息熵”的引入,不是冷冰冰的数学公式堆砌,而是结合了具体的语言现象进行阐述,让我这个非科班出身的人也能领会其精髓。接着,进入到具体的数据处理环节,作者的讲解清晰到令人赞叹,每一个步骤的逻辑推导都像解谜一样引人入胜,让人忍不住想要亲手实践。
这本书的叙事风格非常成熟和内敛,完全没有时下流行读物那种过度煽情的口吻,它更像是一位沉静的老教授,娓娓道来,每一个论断背后都有坚实的学术支撑。我注意到作者在引用文献时非常严谨,几乎每一项重要的理论都会追溯到其源头,这对于希望进行更深层次研究的读者来说,简直是宝藏。书中的插图和图表设计也极具洞察力,它们不是为了美观而存在,而是精准地服务于复杂的概念解释。尤其是那个关于“文本主题模型演进”的流程图,用一种近乎艺术化的方式,把上百年的研究脉络梳理得一清二楚,我甚至把它打印出来贴在了我的工位旁,时不时拿出来对照思考。这种对知识体系的尊重和梳理能力,是区分一本普通教材和一本经典参考书的关键。
说实在话,对于我这种对理论有一定基础,但缺乏系统化实践经验的人来说,这本书的价值体现在它提供的“工具箱”而非仅仅是“食谱”。它并没有预设读者必须使用某一种特定的编程语言或软件环境,而是将核心的思想和算法模型剥离出来,用一种更具普适性的数学和逻辑语言来描述。这使得我可以灵活地将这些理念迁移到我熟悉的任何技术栈中去实现。最让我欣赏的是,它没有止步于当前的主流技术,而是对未来可能的发展趋势进行了审慎的展望,讨论了当前模型在处理长文本和多模态数据时面临的瓶颈,并给出了几个极具启发性的研究方向。这本书读完,我不仅掌握了扎实的技法,更重要的是,它为我未来的研究和职业发展指明了几个清晰可见的探索路径,这是一种知识的赋能,远超出了阅读本身。
这本书的封面设计得非常有质感,那种深沉的蓝色调和简洁的字体搭配,一看就知道内容不会是那种浮于表面的介绍。我拿到手的时候,首先被它厚实的装帧吸引了,拿在手里沉甸甸的,让人感觉这是一本内容扎实、值得细细品读的著作。内页的纸张选择也很考究,触感舒适,印刷清晰,长时间阅读眼睛也不会感到疲劳,这对于需要长时间面对文字的读者来说,无疑是一个巨大的加分项。排版上,作者似乎非常注重读者的阅读体验,行距和字间距都处理得恰到好处,即使是复杂的公式和代码示例也能清晰易读。这种对细节的关注,往往预示着作者对整个知识体系的梳理是极其严谨和用心的,让人对接下来的学习内容充满了期待。我特别喜欢它在章节开头和结尾处加入的一些引导性文字,这些小小的设计,仿佛有一位经验丰富的导师在旁边轻声指引,帮助读者更好地把握住每一个知识点的核心脉络。
我尝试用这本书中的一些方法论去解决我工作中遇到的一个老旧的数据清洗难题,效果简直是立竿见影。以往我们总是用一些现成的工具粗暴地处理文本,效果时好时坏,很多潜在的价值信息就这样被埋没了。这本书提供的思路,特别是关于“语境化理解”的那几章,彻底颠覆了我的传统认知。它强调的不是简单地匹配关键词,而是如何通过建立更精细的特征向量来捕捉词汇在特定领域中的细微差别。我印象最深的是其中一个案例分析,关于如何从大量的客户反馈中准确识别出“痛点”与“痒点”的区别,那套方法论设计得极其巧妙,既有理论深度,又具备极强的可操作性。读完那几章,我感觉自己像是从一个只能看二维图谱的工程师,瞬间升级到了可以洞察三维空间的分析师,视野一下子开阔了许多。