具体描述
自然语言理解是人工智能的一个重要分支，主要研究如何利用计算机来理解和生成自然语言。本书重点介绍了自然语言理解所涉及的各个方面，包括语法分析、语义分析、概念分析、语料库语言学、词汇语义驱动、中间语言、WordNet、词汇树邻接文法、链接文法、基于语段的机器翻译方法、内识别与文本过滤、机器翻译的评测等，既有对基础知识的介绍，又有对新研究进展的综述，同时还结合了作者（JamesPustejovsky，生成词库理论的创始人）多年的研究成果。本书内容全面、详略得当，结合实例讲解，使读者更易理解。
作者简介
James Pustejovsky教授是美国布兰代斯（Brandeis University）大学计算机科学系和Volen国家综合系统中心教授。先后在美国麻省理工学院和马萨诸塞大学获得学士学位和博士学位。Pustejovsky教授主要从事自然语言的理论和计算研究。研究领域包括：计算语言学、词汇语义学、知识表征、话语语义学、时间推理和抽取等。已经出版多部专著。
目录信息
第1章基础知识7
1.1语言标注的重要性7
1.1.1语言学描述的层次8
1.1.2什么是自然语言处理9
1.2语料库语言学简史10
1.2.1什么是语料库13
1.2.2语料库的早期应用15
1.2.3当今的语料库17
1.2.4标注类型18
1.3语言数据和机器学习24
1.3.1分类25
1.3.2聚类25
1.3.3结构化模式归纳26
1.4标注开发循环26
1.4.1现象建模27
1.4.2按照规格说明进行标注30
1.4.3在语料库上训练和测试算法31
1.4.4对结果进行评价32
1.4.5修改模型和算法33
总结34
第2章确定目标与选择数据36
2.1定义目标36
2.1.1目标陈述37
2.1.2提炼目标：信息量与正确性38
2.2背景研究43
2.2.1语言资源44
2.2.2机构与会议44
2.2.3自然语言处理竞赛45
2.3整合数据集46
2.3.1理想的语料库：代表性与平衡性47
2.3.2从因特网上收集数据47
2.3.3从人群中获取数据48
2.4语料库的规模49
2.4.1现有语料库50
2.4.2语料库内部的分布51
总结53
第3章语料库分析54
3.1语料库分析中的基本概率知识55
3.1.1联合概率分布56
3.1.2贝叶斯定理58
3.2计算出现次数58
3.2.1齐普夫定律（Zip'sLaw）61
3.2.2n元语法62
3.3语言模型63
总结65
第4章建立模型与规格说明66
4.1模型和规格说明示例66
4.1.1电影题材分类69
4.1.2添加命名实体70
4.1.3语义角色71
4.2采用（或不采用）现有模型73
4.2.1创建模型和规格说明：一般性与特殊性74
4.2.2使用现有模型和规格说明76
4.2.3使用没有规格说明的模型78
4.3各种标准78
4.3.1ISO标准78
4.3.2社区驱动型标准81
4.3.3影响标注的其他标准81
总结82
第5章选择并应用标注标准84
5.1元数据标注：文档分类85
5.1.1单标签标注：电影评论85
5.1.2多标签标注：电影题材87
5.2文本范围标注：命名实体90
5.2.1内嵌式标注90
5.2.2基于词例的分离式标注92
5.2.3基于字符位置的分离式标注95
5.3链接范围标注：语义角色96
5.4ISO标准和你97
总结97
第6章标注与审核99
6.1标注项目的基本结构99
6.2标注规格说明与标注指南101
6.3准备修改102
6.4准备用于标注的数据103
6.4.1元数据103
6.4.2数据预处理104
6.4.3为标注工作分割文件104
6.5撰写标注指南105
6.5.1例1：单标签标注——电影评论106
6.5.2例2：多标签标注——电影题材108
6.5.3例3：范围标注——命名实体111
6.5.4例4：链接范围标注——语义角色112
6.6标注人员114
6.7选择标注环境116
6.8评价标注结果117
6.8.1Cohen的Kappa（κ）算法118
6.8.2Fleiss的Kappa（κ）算法119
6.8.3解释Kappa系数122
6.8.4在其他上下文中计算κ值123
6.9创建黄金标准（审核）125
总结126
第7章训练：机器学习129
7.1何谓学习130
7.2定义学习任务132
7.3分类算法133
7.3.1决策树学习135
7.3.2朴素贝叶斯学习140
7.3.3最大熵分类器145
7.3.4其他需要了解的分类器147
7.4序列归纳算法148
7.5聚类和无监督学习150
7.6半监督学习150
7.7匹配标注与算法153
总结154
第8章测试与评价156
8.1测试算法157
8.2评价算法157
8.2.1混淆矩阵157
8.2.2计算评价得分159
8.2.3解释评价得分163
8.3可能影响算法评价的问题164
8.3.1数据集太小164
8.3.2算法过于适合开发数据166
8.3.3标注中的信息过多166
8.4最后测试得分167
总结167
……
第9章修改与报告169
第10章标注：TimeML179
第11章自动标注：生成TimeML199
第12章后记：标注的未来发展趋势217
附录A可利用的语料库与标注规格说明列表227
附录B软件资源列表249
附录CMAE用户指南269
附录DMAI用户指南276
附录E参考文献282
· · · · · · (收起)
读后感
用户评价
坦率地说，这本书的阅读体验是充满挑战但也极其丰厚的。它对符号主义和联结主义两种范式在标注任务中的融合与取舍进行了深入的探讨，而不是简单地偏袒某一方。作者对“可解释性”（Explainability）在标注工作中的重要性有着深刻的见解，特别是在探讨那些模型难以自信做出判断的边缘案例时，如何设计有效的反馈回路来引导人工审核，这一点写得尤为精彩。书中对那些“噪声数据”的处理哲学，也颠覆了我以往的认知——并非所有噪声都必须清除，有些恰恰是模型学习真实世界复杂性的关键所在。它鼓励读者去拥抱数据的不完美性，并从中挖掘出更深层次的结构信息。这本书绝对不适合那些只求快速上手、复制粘贴代码的读者，它需要你投入足够的时间去思考其背后的逻辑链条。对于那些致力于构建下一代知识图谱或复杂推理系统的研究者来说，这本书提供的理论基石和方法论，其价值是无可替代的。
这本新书，以其深邃的理论基础和对前沿技术的敏锐洞察力，为我们描绘了一幅宏大的自然语言处理（NLP）新图景。它不仅仅是一本技术手册，更像是一次思想的深度漫游，引导读者在复杂的数据海洋中，如何精妙地构建起语言理解的“骨架”。作者似乎并未满足于停留在表面的算法介绍，而是着力于挖掘深层次的认知科学与计算语言学之间的交汇点，探讨了人类如何从海量、非结构化的文本中，提炼出机器可以有效学习的、具有语义标注价值的特征。我尤其欣赏其中对于“弱监督”和“半监督”学习范式的深入剖析，这在当前数据标注成本高昂、专业领域语料稀缺的现实困境中，无疑提供了极具操作性和前瞻性的解决方案。整本书的论述逻辑严密，从基础的词汇语义单元构建，到复杂的篇章结构和情感倾向的抽取，层次分明，过渡自然，展现了作者深厚的学术功底和丰富的工程实践经验。它成功地架起了理论研究与实际应用之间的桥梁，让那些对NLP充满好奇，又渴望深入钻研其底层机制的工程师和研究人员，找到了一份难得的指引。
这本书的叙事节奏把握得非常好，读起来有一种层层递进、豁然开朗的快感。它从最基础的词性标注（POS Tagging）的细微差别入手，逐步深入到更抽象的语义角色标注（SRL）和事件抽取。作者没有回避当前NLP领域面临的伦理和偏见问题，而是将其融入到标注质量控制的章节中，探讨了如何在数据采集和清洗阶段就嵌入公平性考量。这种对社会责任感的关注，使得这本书不仅具有技术深度，更具备了人文关怀。我个人认为，对于刚从传统机器学习转向深度学习NLP的学生来说，这本书是一个绝佳的过渡读物。它既能帮助他们夯实概率统计和信息论的基础，又能快速带领他们接触到Transformer等主流架构在标注任务中的最新应用。书中提供的代码示例虽然抽象，但其背后的设计思想却极其清晰，非常有利于读者理解如何在实际项目中进行模块化的构建和调试。
初翻阅此书时，最大的感受是其对“语境依赖性”的强调，这在当前很多主流框架中往往被简化处理了。作者似乎在用一种近乎哲学的视角来审视语言标注的本质：语言的意义并非孤立于词汇本身，而是存在于其与周边元素复杂的相互作用网络之中。书中对于动态上下文建模的探讨，特别是引入了某种新型的图神经网络结构来捕获长距离依赖，令人耳目一新。这种处理方式极大地提升了模型在处理口语化、非标准书面语料时的鲁棒性。此外，书中对标注冲突的解决策略和不确定性量化方法的详述，也体现了作者在工程实践中遇到的真实痛点，并给出了优雅的数学化处理。对于那些厌倦了仅仅停留在模型精度提升表面的读者而言，这本书无疑提供了一种更具深度和反思性的学习路径，它迫使我们重新思考：我们究竟在标注什么，以及如何以更“人类化”的方式去训练机器理解这些标签的微妙之处。阅读过程中，我时常感到自己正在参与一场深刻的学术思辨，而非仅仅是技能的学习。
我向来偏爱那些能将晦涩的数学原理，转化为直观工程实践的书籍，而这本书恰好做到了这一点，尽管主题听起来非常硬核。它在讲解那些复杂的概率图模型或深度学习架构时，并非简单地堆砌公式，而是通过精心设计的案例分析和可视化图解，揭示了这些模型如何在底层实现对语言结构层次的模拟。特别是关于时间序列标注（如命名实体识别中的跨度识别）的部分，作者展示了如何巧妙地利用注意力机制的变体，来高效地处理标注边界的模糊性。更值得称赞的是，书中对于不同领域（比如医疗、金融）标注规范差异的讨论，使得本书的适用范围远超一般的教科书范畴。它更像是一本“方法论”的宝典，教会读者如何根据特定应用场景的需求，灵活地定制和优化标注策略，而不是生搬硬套一个普适性的解决方案。这本书的价值在于它赋予了读者一种“设计思维”，而非仅仅是“实现能力”。
这本书主要是供开拓眼界用的，汇集了许多资源列表，讲解了很多背景知识，中英文术语对照做的挺好。对各种标注方法的优劣做了比较，印象较深的是内嵌式标注和分离式标注的优劣。
粗疏
对语料库构建方法和标注过程均有较详细的介绍，并贯穿以例子帮助读者理解其中概念，可以为初涉自然语言处理领域研究者提供参考。另，Pustejovsky的学生Sauri的博士论文与这本书也有些关系。
数据标注实际上是在定义问题，这才是难点，挺有意思
@ memect
