目錄
第二版序言
第一版序言
第三版前言
第1章文字和語言 vs 數字和信息
文字和語言與數學，從産生起原本就有相通性，雖然它們的發展一度分道揚鑣，但是最終還是能走到一起。
1 信息
2 文字和數字
3 文字和語言背後的數學
第2章自然語言處理——從規則到統計
人類對機器理解自然語言的認識走瞭一條大彎路。早期的研究集中采用基於規則的方法，雖然解決瞭一些簡單的問題，但是無法從根本上將自然語言理解實用化。直到20多年後，人們開始嘗試用基於統計的方法進行自然語言處理，纔有瞭突破性進展和實用的産品。
1 機器智能
2 從規則到統計
第3章統計語言模型
統計語言模型是自然語言處理的基礎，並且被廣泛應用於機器翻譯、語音識彆、印刷體或手寫體識彆、拼寫糾錯、漢字輸入和文獻查詢。
1 用數學的方法描述語言規律
2 延伸閱讀：統計語言模型的工程訣竅
第4章談談分詞
中文分詞是中文信息處理的基礎，它同樣走過瞭一段彎路，目前依靠統計語言模型已經基本解決瞭這個問題。
1 中文分詞方法的演變
2 延伸閱讀：如何衡量分詞的結果
第5章隱馬爾可夫模型
隱馬爾可夫模型最初應用於通信領域，繼而推廣到語音和語言處理中，成為連接自然語言處理和通信的橋梁。同時，隱馬爾可夫模型也是機器學習的主要工具之一。
1 通信模型
2 隱馬爾可夫模型
3 延伸閱讀：隱馬爾可夫模型的訓練
第6章信息的度量和作用
信息是可以量化度量的。信息熵不僅是對信息的量化度量，也是整個信息論的基礎。它對於通信、數據壓縮、自然語言處理都有很強的指導意義。
1 信息熵
2 信息的作用
3 互信息
4 延伸閱讀：相對熵
第7章賈裏尼剋和現代語言處理
作為現代自然語言處理的奠基者，賈裏尼剋教授成功地將數學原理應用於自然語言處理領域中，他的一生富於傳奇色彩。
1 早年生活
2 從水門事件到莫妮卡·萊溫斯基
3 一位老人的奇跡
第8章簡單之美——布爾代數和搜索引擎
布爾代數雖然非常簡單，卻是計算機科學的基礎，它不僅把邏輯和數學閤二為一，而且給瞭我們一個全新的視角看待世界，開創瞭數字化時代。
1 布爾代數
2 索引
第9章圖論和網絡爬蟲
互聯網搜索引擎在建立索引前需要用一個程序自動地將所有的網頁下載到服務器上，這個程序稱為網絡爬蟲，它的編寫是基於離散數學中圖論的原理。
1 圖論
2 網絡爬蟲
3 延伸閱讀：圖論的兩點補充說明
第10章PageRank——Google的民主錶決式網頁排名技術
網頁排名技術PageRank是早期Google的殺手鐧，它的齣現使得網頁搜索的質量上瞭一個大的颱階。它背後的原理是圖論和綫性代數的矩陣運算。
1 PageRank算法的原理
2 延伸閱讀：PageRank的計算方法
第11章如何確定網頁和查詢的相關性
確定網頁和查詢的相關性是網頁搜索的根本問題，其中確定查詢中每個關鍵詞的重要性有多高是關鍵。TF-IDF是目前通用的關鍵詞重要性的度量，其背後的原理是信息論。
1 搜索關鍵詞權重的科學度量TF-IDF
2 延伸閱讀：TF-IDF 的信息論依據
第12章有限狀態機和動態規劃——地圖與本地搜索的核心技術
地圖與本地搜索中要用到有限狀態機和動態規劃技術。這兩項技術是機器智能和機器學習的工具，它們的應用非常廣泛，還包括語音識彆、拼寫和語法糾錯、拼音輸入法、工業控製和生物的序列分析等。
1 地址分析和有限狀態機
2 全球導航和動態規劃
3 延伸閱讀：有限狀態傳感器
第13章Google AK-47的設計者——阿米特·辛格博士
在所有輕武器中最有名的是AK-47衝鋒槍，因為它從不卡殼，不易損壞，可在任何環境下使用，可靠性好，殺傷力大並且操作簡單。Google的産品就是按照上述原則設計的。
第14章餘弦定理和新聞的分類
計算機雖然讀不懂新聞，卻可以準確地對新聞進行分類。其數學工具是看似毫不相乾的餘弦定理。
1 新聞的特徵嚮量
2 嚮量距離的度量
3 延伸閱讀：計算嚮量餘弦的技巧
第15章矩陣運算和文本處理中的兩個分類問題
無論是詞匯的聚類還是文本的分類，都可以通過綫性代數中矩陣的奇異值分解來進行。這樣一來，自然語言處理的問題就變成瞭一個數學問題。
1 文本和詞匯的矩陣
2 延伸閱讀：奇異值分解的方法和應用場景
第16章信息指紋及其應用
世間萬物都有一個唯一標識的特徵，信息也是如此。每一條信息都有它特定的指紋，通過這個指紋可以區彆不同的信息。
1 信息指紋
2 信息指紋的用途
3 延伸閱讀：信息指紋的重復性和相似哈希
第17章由電視劇《暗算》所想到的——談談密碼學的數學原理
密碼學的根本是信息論和數學。沒有信息論指導的密碼是非常容易被破解的。隻有在信息論被廣泛應用於密碼學後，密碼纔真正變得安全。
1 密碼學的自發時代
2 信息論時代的密碼學
第18章閃光的不一定是金子——談談搜索引擎反作弊問題和搜索結果的權威性問題
閃光的不一定是金子，搜索引擎中排名靠前的網頁也未必是有用的網頁。消除這些作弊網頁的原理和通信中過濾噪聲的原理相同。這說明信息處理和通信的很多原理是相通的。
1 搜索引擎的反作弊
2 搜索結果的權威性
第19章談談數學模型的重要性
正確的數學模型在科學和工程中至關重要，而發現正確模型的途徑常常是麯摺的。正確的模型在形式上通常是簡單的。
第20章不要把雞蛋放到一個籃子裏——談談最大熵模型
最大熵模型是一個完美的數學模型。它可以將各種信息整閤到一個統一的模型中，在信息處理和機器學習中有著廣泛的應用。它在形式上非常簡單、優美，而在實現時需要有精深的數學基礎和高超的技巧。
1 最大熵原理和最大熵模型
2 延伸閱讀：最大熵模型的訓練
第21章拼音輸入法的數學原理
漢字的輸入過程本身就是人和計算機之間的通信。好的輸入法會自覺或不自覺地遵循通信的數學模型。當然要做齣最有效的輸入法，應當自覺使用信息論做指導。
1 輸入法與編碼
2 輸入一個漢字需要敲多少個鍵——談談香農第一定理
3 拼音轉漢字的算法
4 延伸閱讀：個性化的語言模型
第22章自然語言處理的教父馬庫斯和他的優秀弟子們
將自然語言處理從基於規則的研究方法轉到基於統計的研究方法上，賓夕法尼亞大學的教授米奇·馬庫斯功不可沒。他創立瞭今天在學術界廣泛使用的LCD語料庫，同時培養瞭一大批精英人物。
1 教父馬庫斯
2 從賓夕法尼亞大學走齣的精英們
第23章布隆過濾器
日常生活中，經常要判斷一個元素是否在一個集閤中。布隆過濾器是計算機工程中解決這個問題最好的數學工具。
1 布隆過濾器的原理
2 延伸閱讀：布隆過濾器的誤識彆問題
第24章馬爾可夫鏈的擴展——貝葉斯網絡
貝葉斯網絡是一個加權的有嚮圖，是馬爾可夫鏈的擴展。而從認識論的層麵看：貝葉斯網絡剋服瞭馬爾可夫鏈那種機械的綫性約束，它可以把任何有關聯的事件統一到它的框架下麵。它在生物統計、圖像處理、決策支持係統和博弈論中都有廣泛的使用。
1 貝葉斯網絡
2 貝葉斯網絡在詞分類中的應用
3 延伸閱讀：貝葉斯網絡的訓練
第25章條件隨機場、文法分析及其他
條件隨機場是計算聯閤概率分布的有效模型，而句子的文法分析似乎是英文課上英語老師教的東西，這兩者有什麼聯係呢？
1 文法分析——計算機算法的演變
2 條件隨機場
3 條件隨機場在其他領域的應用
第26章維特比和他的維特比算法
維特比算法是現代數字通信中使用最頻繁的算法，也是很多自然語言處理采用的解碼算法。可以毫不誇張地
講，維特比是對我們今天的生活影響力最大的科學傢之一，因為基於CDMA的3G移動通信標準主要就是他和厄文·雅各布創辦的高通公司製定的。
1 維特比算法
2 CDMA技術——3G移動通信的基礎
第27章上帝的算法——期望最大化算法
隻要有一些訓練數據，再定義一個最大化函數，采用EM算法，利用計算機經過若乾次迭代，就可以得到所需要的模型。這實在是太美妙瞭，這也許是造物主刻意安排的，所以我把它稱作上帝的算法。
1 文本的自收斂分類
2 延伸閱讀：期望最大化和收斂的必然性
第28章邏輯迴歸和搜索廣告
邏輯迴歸模型是一種將影響概率的不同因素結閤在一起的指數模型，它不僅在搜索廣告中起著重要的作用，而且被廣泛應用於信息處理和生物統計中。
1 搜索廣告的發展
2 邏輯迴歸模型
第29章各個擊破算法和Google雲計算的基礎
Google頗為神秘的雲計算中最重要的MapReduce工具，其原理就是計算機算法中常用的“各個擊破”算法，它的原理原來這麼簡單——將復雜的大問題分解成很多小問題分彆求解，然後再把小問題的解閤並成原始問題的解。由此可見，在生活中大量用到的、真正有用的方法常常都是簡單樸實的。
1 分治算法的原理
2 從分治算法到MapReduce
第30章Google大腦和人工神經網絡
Google大腦並不是一個什麼都能思考的大腦，而是一個很能計算的人工神經網絡。因此，與其說Google大腦很聰明,不如說它很能算。不過，換個角度來說，隨著計算能力的不斷提高，計算量大但簡單的數學方法有時能夠解決很復雜的問題。
1 人工神經網絡
2 訓練人工神經網絡
3 人工神經網絡與貝葉斯網絡的關係
4 延伸閱讀：Google大腦
第31章區塊鏈的數學基礎——橢圓麯綫加密原理
希爾伯特講，“我們直到能夠把一門自然科學的數學內核剝齣並完全地揭示齣來，纔能夠掌握它。”以比特幣為代錶的加密貨幣的基礎是數學的算法，隻有搞清楚加密貨幣的數學內核，我們纔能瞭解它的本質。
1不對稱、不透明之美
2橢圓麯綫加密的原理
第32章大數據的威力——談談數據的重要性
如果說在過去的40年裏，主導全球IT産業發展的是摩爾定律，那麼在今後的20年裏，主導IT行業繼續發展的動力則將來自於數據。
1 數據的重要性
2 數據的統計和信息技術
3 為什麼需要大數據
第33章隨機性帶來的好處——量子密鑰分發的數學原理
人們總是喜歡確定性而不喜歡隨機性。但是，從對確定性規律的把握上升到對隨機性規律的把握，恰恰是近代數學進步的標誌。量子通信就是建立在把握有關隨機性規律的基礎之上。
1用（激光）量子的偏振方嚮傳遞信息
2利用隨機性保證信息安全
第34章數學的極限——希爾伯特第十問題和機器智能的極限
世界上隻有一小部分問題是數學問題，而數學問題中又隻有極小的一部分問題有解。在這些問題中，今天已經找到相應算法的少之又少。因此，數學不是萬能的，我們需要瞭解數學的邊界在哪裏。
1圖靈劃定計算機可計算問題的邊界
2希爾伯特劃定有解數學問題的邊界
3延伸閱讀：關於圖靈機
附錄計算復雜度
第三版後記
索引
· · · · · · (
收起)
