TensorFlow自然語(yǔ)言處理及應(yīng)用

第1章 TensorFlow與編程 1
1.1 語(yǔ)言與系統(tǒng)的支持 1
1.2 TensFlow的特點(diǎn) 2
1.3 TensorFlow的環(huán)境搭建 3
1.3.1 安裝環(huán)境介紹 3
1.3.2 安裝TensorFlow 5
1.3.3 安裝測(cè)試 6
1.4 張量 7
1.4.1 張量的概念 7
1.4.2 張量的使用 8
1.4.3 NumPy庫(kù) 9
1.4.4 張量的階 10
1.4.5 張量的形狀 10
1.5 認(rèn)識(shí)變量 11
1.5.1 變量的創(chuàng)建 11
1.5.2 變量的初始化 19
1.6 矩陣的操作 21
1.6.1 矩陣的生成 22
1.6.2 矩陣的變換 25
1.7 圖的實(shí)現(xiàn) 31
1.8 會(huì)話的實(shí)現(xiàn) 34
1.9 讀取數(shù)據(jù)方式 36
1.9.1 列表格式 37
1.9.2 讀取圖像數(shù)據(jù) 38
第2章 自然語(yǔ)言處理與深度學(xué)習(xí)基礎(chǔ) 40
2.1 自然語(yǔ)言概述 40
2.1.1 自然語(yǔ)言處理面臨的困難 40
2.1.2 自然語(yǔ)言處理的發(fā)展趨勢(shì) 41
2.1.3 自然語(yǔ)言處理的特點(diǎn) 42
2.2 NLP技術(shù)前沿與未來(lái)趨勢(shì) 43
2.2.1 挑戰(zhàn)與突破 43
2.2.2 人機(jī)交互的未來(lái) 43
2.2.3 未來(lái)發(fā)展趨勢(shì)與展望 44
2.2.4 技術(shù)挑戰(zhàn)與解決路徑 44
2.3 深度學(xué)習(xí) 44
2.3.1 深度學(xué)習(xí)背景 45
2.3.2 深度學(xué)習(xí)的核心思想 46
2.3.3 深度學(xué)習(xí)的應(yīng)用 47
2.4 深度學(xué)習(xí)的優(yōu)勢(shì)與劣勢(shì) 51
第3章 神經(jīng)網(wǎng)絡(luò)算法基礎(chǔ) 52
3.1 激活函數(shù)及實(shí)現(xiàn) 53
3.1.1 激活函數(shù)的用途 53
3.1.2 幾種激活函數(shù) 53
3.1.3 幾種激活函數(shù)的繪圖 57
3.2 門(mén)函數(shù)及實(shí)現(xiàn) 59
3.3 單個(gè)神經(jīng)元的擴(kuò)展及實(shí)現(xiàn) 62
3.4 構(gòu)建多層神經(jīng)網(wǎng)絡(luò) 65
第4章 詞嵌入 69
4.1 詞嵌入概述 69
4.2 分布式表示 69
4.2.1 分布式假設(shè) 70
4.2.2 共現(xiàn)矩陣 70
4.2.3 存在的問(wèn)題 73
4.3 jieba分詞處理 73
4.3.1 jieba庫(kù)的三種模式和常用函數(shù) 74
4.3.2 jieba庫(kù)分詞的其他操作 75
4.3.3 中文詞頻統(tǒng)計(jì)實(shí)例 81
4.4 離散表示 82
4.4.1 one-hot編碼 82
4.4.2 詞袋模型 87
4.4.3 TF-IDF算法 90
4.4.4 n-gram模型 92
4.5 word2vec模型 98
4.5.1 word2vec模型介紹 98
4.5.2 word2vec模型結(jié)構(gòu) 103
4.5.3 Skip-gram算法 105
4.5.4 CBOW算法 106
4.5.5 CBOW算法與Skip-gram算法的對(duì)比 107
4.5.6 算法改進(jìn) 108
4.5.7 訓(xùn)練概率 109
4.5.8 word2vec實(shí)現(xiàn) 110
第5章 卷積神經(jīng)網(wǎng)絡(luò)分析與文本分類 120
5.1 全連接網(wǎng)絡(luò)的局限性 120
5.2 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 121
5.2.1 卷積層 122
5.2.2 池化層 129
5.2.3 全連接層 131
5.3 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 131
5.3.1 池化層反向傳播 132
5.3.2 卷積層反向傳播 134
5.4 卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn) 139
5.4.1 識(shí)別0和1數(shù)字 139
5.4.2 預(yù)測(cè)MNIST數(shù)字 145
5.5 NLP的卷積 149
5.5.1 NLP卷積概述 149
5.5.2 用于文本分類的CNN 151
第6章 幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò) 161
6.1 AlexNet 161
6.1.1 AlexNet的結(jié)構(gòu) 161
6.1.2 AlexNet的亮點(diǎn) 162
6.1.3 AlexNet的實(shí)現(xiàn) 163
6.2 DeepID網(wǎng)絡(luò) 168
6.3 VGGNet 169
6.3.1 VGGNet的特點(diǎn) 169
6.3.2 VGGNet的結(jié)構(gòu) 169
6.3.3 VGGNet的實(shí)現(xiàn) 171
6.4 Inception Net 175
6.4.1 Inception Net的原理 175
6.4.2 Inception Net的經(jīng)典應(yīng)用 176
6.5 ResNet 181
6.5.1 ResNet的結(jié)構(gòu) 181
6.5.2 ResNet的實(shí)現(xiàn) 184
第7章 循環(huán)神經(jīng)網(wǎng)絡(luò)及語(yǔ)言模型 190
7.1 循環(huán)神經(jīng)網(wǎng)絡(luò)概述 190
7.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的原理 191
7.1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單應(yīng)用 194
7.2 損失函數(shù) 195
7.3 梯度求解 196
7.3.1 E3關(guān)于參數(shù)V的偏導(dǎo)數(shù) 197
7.3.2 E3關(guān)于參數(shù)W的偏導(dǎo)數(shù) 197
7.3.3 E3關(guān)于參數(shù)U的偏導(dǎo)數(shù) 197
7.3.4 梯度消失問(wèn)題 198
7.4 循環(huán)神經(jīng)網(wǎng)絡(luò)的經(jīng)典應(yīng)用 198
7.4.1 實(shí)現(xiàn)二進(jìn)制數(shù)加法運(yùn)算 198
7.4.2 實(shí)現(xiàn)擬合回聲信號(hào)序列 202
7.4.3 基于字符級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型 209
7.4.4 使用PyTorch實(shí)現(xiàn)基于字符級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型 213
第8章 長(zhǎng)短期記憶及自動(dòng)生成文本 220
8.1 長(zhǎng)短期記憶網(wǎng)絡(luò) 220
8.1.1 LSTM核心思想 221
8.1.2 LSTM詳解與實(shí)現(xiàn) 222
8.2 窺視孔連接 230
8.3 GRU網(wǎng)絡(luò)對(duì)MNIST數(shù)據(jù)集分類 231
8.4 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)MNIST數(shù)據(jù)集分類 233
8.5 CTC實(shí)現(xiàn)端到端訓(xùn)練的語(yǔ)音識(shí)別模型 237
8.6 LSTM生成文本預(yù)測(cè) 244
8.6.1 模型訓(xùn)練 244
8.6.2 預(yù)測(cè)文本 246
第9章 其他網(wǎng)絡(luò)的經(jīng)典分析與應(yīng)用 248
9.1 自編碼網(wǎng)絡(luò)及實(shí)現(xiàn) 248
9.1.1 自編碼網(wǎng)絡(luò)的結(jié)構(gòu) 248
9.1.2 自編碼網(wǎng)絡(luò)的代碼實(shí)現(xiàn) 249
9.2 棧式自編碼器及實(shí)現(xiàn) 256
9.2.1 棧式自編碼概述 256
9.2.2 棧式自編碼訓(xùn)練 256
9.2.3 棧式自編碼實(shí)現(xiàn)MNIST手寫(xiě)數(shù)字分類 257
9.2.4 棧式自編碼器的應(yīng)用場(chǎng)合與實(shí)現(xiàn) 259
9.3 變分自編碼及實(shí)現(xiàn) 268
9.3.1 變分自編碼原理 268
9.3.2 變分自編碼模擬生成MNIST數(shù)據(jù) 269
9.4 條件變分自編碼及實(shí)現(xiàn) 275
9.4.1 條件變分自編碼概述 275
9.4.2 條件變分自編碼網(wǎng)絡(luò)生成MNIST數(shù)據(jù) 275
參考文獻(xiàn) 281