智能問答與深度學習

1 概述1
1.1 智能問答：讓機器更好地服務于人 1
1.2 問答系統(tǒng)類型介紹 2
1.2.1 基于事實的問答系統(tǒng) 3
1.2.2 基于常見問題集的問答系統(tǒng) 3
1.2.3 開放域的問答系統(tǒng) 4
1.3 使用本書附帶的源碼程序 4
1.3.1 安裝依賴軟件 4
1.3.2 下載源碼 5
1.3.3 執(zhí)行示例程序 5
1.3.4 聯(lián)系我們 6
1.4 全書結構 6
2 機器學習基礎8
2.1 線性代數(shù) 8
2.1.1 標量、向量、矩陣和張量 8
2.1.2 矩陣運算 9
2.1.3 特殊類型的矩陣 10
2.1.4 線性相關 11
2.1.5 范數(shù) 12
2.2 概率論基礎 12
2.2.1 隨機變量 13
2.2.2 期望和方差 13
2.2.3 伯努利分布 14
2.2.4 二項分布 14
2.2.5 泊松分布 15
2.2.6 正態(tài)分布 15
2.2.7 條件概率、聯(lián)合概率和全概率 17
2.2.8 先驗概率與后驗概率 18
2.2.9 邊緣概率 18
2.2.10 貝葉斯公式 18
2.2.11 最大似然估計算法 19
2.2.12 線性回歸模型 20
2.2.13 邏輯斯蒂回歸模型 21
2.3 信息論基礎 22
2.3.1 熵 23
2.3.2 聯(lián)合熵和條件熵 23
2.3.3 相對熵與互信息 24
2.3.4 信道和信道容量 25
2.3.5 最大熵模型 26
2.3.6 信息論與機器學習 29
2.4 統(tǒng)計學習 29
2.4.1 輸入空間、特征空間與輸出空間 30
2.4.2 向量表示 30
2.4.3 數(shù)據(jù)集 31
2.4.4 從概率到函數(shù) 31
2.4.5 統(tǒng)計學習三要素 32
2.5 隱馬爾可夫模型 33
2.5.1 隨機過程和馬爾可夫鏈 33
2.5.2 隱馬爾可夫模型的定義 36
2.5.3 三個基本假設及適用場景 37
2.5.4 概率計算問題之直接計算 39
2.5.5 概率計算問題之前向算法 40
2.5.6 概率計算問題之后向算法 42
2.5.7 預測問題之維特比算法 45
2.5.8 學習問題之Baum-Welch 算法 48
2.6 條件隨機場模型 52
2.6.1 超越HMM 52
2.6.2 項目實踐 55
2.7 總結 59
3 自然語言處理基礎60
3.1 中文自動分詞 60
3.1.1 有向無環(huán)圖 61
3.1.2 最大匹配算法 63
3.1.3 算法評測 69
3.1.4 由字構詞的方法 72
3.2 詞性標注 77
3.2.1 詞性標注規(guī)范 77
3.2.2 隱馬爾可夫模型詞性標注 79
3.3 命名實體識別 81
3.4 上下文無關文法 82
3.4.1 原理介紹 83
3.4.2 算法淺析 83
3.5 依存關系分析 84
3.5.1 算法淺析 85
3.5.2 項目實踐 92
3.5.3 小結 94
3.6 信息檢索系統(tǒng) 95
3.6.1 什么是信息檢索系統(tǒng) 95
3.6.2 衡量信息檢索系統(tǒng)的關鍵指標 95
3.6.3 理解非結構化數(shù)據(jù) 97
3.6.4 倒排索引 98
3.6.5 處理查詢 100
3.6.6 項目實踐 102
3.6.7 Elasticsearch 103
3.6.8 小結 112
3.7 問答語料 113
3.7.1 WikiQA 113
3.7.2 中文版保險行業(yè)語料庫InsuranceQA 113
3.8 總結 115
4 深度學習初步116
4.1 深度學習簡史 116
4.1.1 感知機 116
4.1.2 寒冬和復蘇 117
4.1.3 走出實驗室 118
4.1.4 寒冬再臨 119
4.1.5 走向大規(guī)模實際應用 119
4.2 基本架構 120
4.2.1 神經(jīng)元 121
4.2.2 輸入層、隱藏層和輸出層 122
4.2.3 標準符號 123
4.3 神經(jīng)網(wǎng)絡是如何學習的 124
4.3.1 梯度下降 124
4.3.2 反向傳播理論 127
4.3.3 神經(jīng)網(wǎng)絡全連接層的實現(xiàn) 130
4.3.4 使用簡單神經(jīng)網(wǎng)絡實現(xiàn)問答任務 131
4.4 調整神經(jīng)網(wǎng)絡超參數(shù) 136
4.4.1 超參數(shù) 136
4.4.2 參考建議 137
4.5 卷積神經(jīng)網(wǎng)絡與池化 138
4.5.1 簡介 138
4.5.2 卷積層的前向傳播 139
4.5.3 池化層的前向傳播 141
4.5.4 卷積層的實現(xiàn) 141
4.5.5 池化層的實現(xiàn) 145
4.5.6 使用卷積神經(jīng)網(wǎng)絡實現(xiàn)問答任務 148
4.6 循環(huán)神經(jīng)網(wǎng)絡及其變種 149
4.6.1 簡介 149
4.6.2 循環(huán)神經(jīng)網(wǎng)絡 149
4.6.3 長短期記憶單元和門控循環(huán)單元 153
4.6.4 循環(huán)神經(jīng)網(wǎng)絡的實現(xiàn) 156
4.6.5 使用循環(huán)神經(jīng)網(wǎng)絡實現(xiàn)問答任務 159
4.7 簡易神經(jīng)網(wǎng)絡工具包 160
5 詞向量實現(xiàn)及應用161
5.1 語言模型 161
5.1.1 評測 162
5.1.2 ARPA 格式介紹 162
5.1.3 項目實踐 163
5.2 One-hot 表示法 164
5.3 詞袋模型 165
5.4 NNLM 和RNNLM 165
5.5 word2vec 168
5.5.1 C-BOW 的原理 169
5.5.2 Skip-gram 的原理 172
5.5.3 計算效率優(yōu)化 174
5.5.4 項目實踐 179
5.6 GloVe 189
5.6.1 GloVe 的原理 189
5.6.2 GloVe 與word2vec 的區(qū)別和聯(lián)系 191
5.6.3 項目實踐 193
5.7 fastText 198
5.7.1 fastText 的原理 198
5.7.2 fastText 與word2vec 的區(qū)別和聯(lián)系 200
5.7.3 項目實踐 201
5.8 中文近義詞工具包 204
5.8.1 安裝 205
5.8.2 接口 205
5.9 總結 205
6 社區(qū)問答中的QA 匹配206
6.1 社區(qū)問答任務簡介 206
6.2 孿生網(wǎng)絡模型 207
6.3 QACNN 模型 207
6.3.1 模型構建 207
6.3.2 實驗結果 214
6.4 Decomposable Attention 模型 214
6.4.1 模型介紹 214
6.4.2 模型構建 216
6.5 多比較方式的比較–集成模型 216
6.5.1 模型介紹 216
6.5.2 模型構建 218
6.6 BiMPM 模型 219
6.6.1 模型介紹 219
6.6.2 模型構建 221
7 機器閱讀理解222
7.1 完型填空型機器閱讀理解任務 222
7.1.1 CNN/Daily Mail 數(shù)據(jù)集 222
7.1.2 Children’s Book Test（CBT）數(shù)據(jù)集 223
7.1.3 GA Reader 模型 226
7.1.4 SA Reader 模型 227
7.1.5 AoA Reader 模型 228
7.2 答案抽取型機器閱讀理解任務 230
7.2.1 SQuAD 數(shù)據(jù)集 231
7.2.2 MS MARCO 數(shù)據(jù)集 232
7.2.3 TriviaQA 數(shù)據(jù)集 234
7.2.4 DuReader 數(shù)據(jù)集 235
7.2.5 BiDAF 模型 235
7.2.6 R-Net 模型 237
7.2.7 S-Net 模型 240
7.3 答案選擇型機器閱讀理解任務 243
7.4 展望 245
參考文獻246