第1章　應用自然語言處理技術 1
1.1　付齣與迴報 2
1.1.1　如何開始 2
1.1.2 招聘人員 2
1.1.3 學習 3
1.2 開發環境 3
1.3 技術基礎 4
1.3.1 Java 4
1.3.2 規則方法 5
1.3.3 統計方法 5
1.3.4 計算框架 5
1.3.5 文本挖掘 7
1.3.6 語義庫 7
1.4 本章小結 9
1.5 專業術語 9
第2章　中文分詞原理與實現 11
2.1 接口 12
2.1.1 切分方案 13
2.1.2 詞特徵 13
2.2 查找詞典算法 13
2.2.1 標準Trie樹 14
2.2.2 三叉Trie樹 18
2.2.3 詞典格式 26
2.3 最長匹配中文分詞 27
2.3.1 正嚮最大長度匹配法 28
2.3.2 逆嚮最大長度匹配法 33
2.3.3 處理未登錄串 39
2.3.4 開發分詞 43
2.4 概率語言模型的分詞方法 45
2.4.1 一元模型 47
2.4.2 整閤基於規則的方法 54
2.4.3 錶示切分詞圖 55
2.4.4 形成切分詞圖 62
2.4.5 數據基礎 64
2.4.6 改進一元模型 75
2.4.7 二元詞典 79
2.4.8 完全二叉樹組 85
2.4.9 三元詞典 89
2.4.10 N元模型 90
2.4.11 N元分詞 91
2.4.12 生成語言模型 99
2.4.13 評估語言模型 100
2.4.14 概率分詞的流程與結構 101
2.4.15 可變長N元分詞 102
2.4.16 條件隨機場 103
2.5 新詞發現 103
2.5.1 成詞規則 109
2.6 詞性標注 109
2.6.1 數據基礎 114
2.6.2 隱馬爾可夫模型 115
2.6.3 存儲數據 124
2.6.4 統計數據 131
2.6.5 整閤切分與詞性標注 133
2.6.6 大詞錶 138
2.6.7 詞性序列 138
2.6.8 基於轉換的錯誤學習方法 138
2.6.9 條件隨機場 141
2.7 詞類模型 142
2.8 未登錄詞識彆 144
2.8.1 未登錄人名 144
2.8.2 提取候選人名 145
2.8.3 最長人名切分 153
2.8.4 一元概率人名切分 153
2.8.5 二元概率人名切分 156
2.8.6 未登錄地名 159
2.8.7 未登錄企業名 160
2.9 平滑算法 160
2.10 機器學習的方法 164
2.10.1 最大熵 165
2.10.2 條件隨機場 170
2.11 有限狀態機 171
2.12 地名切分 178
2.12.1 識彆未登錄地名 179
2.12.2 整體流程 185
2.13 企業名切分 187
2.13.1 識彆未登錄詞 188
2.13.2 整體流程 190
2.14 結果評測 190
2.15 本章小結 191
2.16 專業術語 193
第3章　英文分析 194
3.1 分詞 194
3.1.1 句子切分 194
3.1.2 識彆未登錄串 197
3.1.3 切分邊界 198
3.2 詞性標注 199
3.3 重點詞匯 202
3.4 句子時態 203
3.5 本章小結 204
第4章　依存文法分析 205
4.1 句法分析樹 205
4.2 依存文法 211
4.2.1 中文依存文法 211
4.2.2 英文依存文法 220
4.2.3 生成依存樹 232
4.2.4 遍曆 235
4.2.5 機器學習的方法 237
4.3 小結 237
4.4 專業術語 238
第5章　文檔排重 239
5.1 相似度計算 239
5.1.1 夾角餘弦 239
5.1.2 最長公共子串 242
5.1.3 同義詞替換 246
5.1.4 地名相似度 248
5.1.5 企業名相似度 251
5.2 文檔排重 251
5.2.1 關鍵詞排重 251
5.2.2 SimHash 254
5.2.3 分布式文檔排重 268
5.2.4 使用文本排重 269
5.3 在搜索引擎中使用文本排重 269
5.4 本章小結 270
5.5 專業術語 270
第6章　信息提取 271
6.1 指代消解 271
6.2 中文關鍵詞提取 273
6.2.1 關鍵詞提取的基本方法 273
6.2.2 HITS算法應用於關鍵詞提取 275
6.2.3 從網頁中提取關鍵詞 277
6.3 信息提取 278
6.3.1 提取聯係方式 280
6.3.2 從互聯網提取信息 281
6.3.3 提取地名 282
6.4 拼寫糾錯 283
6.4.1 模糊匹配問題 285
6.4.2 正確詞錶 296
6.4.3 英文拼寫檢查 298
6.4.4 中文拼寫檢查 300
6.5 輸入提示 302
6.6 本章小結 303
6.7 專業術語 303
第7章　自動摘要 304
7.1 自動摘要技術 305
7.1.1 英文文本摘要 307
7.1.2 中文文本摘要 309
7.1.3 基於篇章結構的自動摘要 314
7.1.4 句子壓縮 314
7.2 指代消解 314
7.3 Lucene中的動態摘要 314
7.4 本章小結 317
7.5 專業術語 318
第8章　文本分類 319
8.1 地名分類 321
8.2 錯誤類型分類 321
8.3 特徵提取 322
8.4 關鍵詞加權法 326
8.5 樸素貝葉斯 330
8.6 貝葉斯文本分類 336
8.7 支持嚮量機 336
8.7.1 多級分類 345
8.7.2 規則方法 347
8.7.3 網頁分類 350
8.8 最大熵 351
8.9 信息審查 352
8.10 文本聚類 353
8.10.1 K均值聚類方法 353
8.10.2 K均值實現 355
8.10.3 深入理解DBScan算法 359
8.10.4 使用DBScan算法聚類實例 361
8.11 本章小結 363
8.12 專業術語 363
第9章　文本傾嚮性分析 364
9.1 確定詞語的褒貶傾嚮 367
9.2 實現情感識彆 368
9.3 本章小結 372
9.4 專業術語 373
第10章　問答係統 374
10.1 問答係統的結構 375
10.1.1 提取問答對 376
10.1.2 等價問題 376
10.2 問句分析 377
10.2.1 問題類型 377
10.2.2 句型 381
10.2.3 業務類型 381
10.2.4 依存樹 381
10.2.5 指代消解 383
10.2.6 二元關係 383
10.2.7 邏輯錶示 386
10.2.8 問句模闆 386
10.2.9 結構化問句模闆 389
10.2.10 檢索方式 390
10.2.11 問題重寫 395
10.2.12 提取事實 395
10.2.13 驗證答案 398
10.2.14 無答案的處理 398
10.3 知識庫 398
10.4 聊天機器人 399
10.4.1 交互式問答 401
10.4.2 垂直領域問答係統 402
10.4.3 語料庫 405
10.4.4 客戶端 405
10.5 自然語言生成 405
10.6 依存句法 406
10.7 提取同義詞 410
10.7.1 流程 410
10.8 本章小結 411
10.9 術語錶 412
第11章　語音識彆 413
11.1 總體結構 414
11.1.1 識彆中文 416
11.1.2 自動問答 417
11.2 語音庫 418
11.3 語音閤成 419
11.3.1 歸一化 420
11.4 語音 420
11.4.1 標注 424
11.4.2 相似度 424
11.5 Sphinx 424
11.5.1 中文訓練集 426
11.6 Julius 429
11.7 本章小結 429
11.8 術語錶 429
參考資源 430
後記 431
· · · · · · (收起)