Python數(shù)據(jù)預(yù)處理技術(shù)與實(shí)踐

目    錄
第1章  概述 1
1.1  Python數(shù)據(jù)預(yù)處理 1
1.1.1  什么是數(shù)據(jù)預(yù)處理 1
1.1.2  為什么要做數(shù)據(jù)預(yù)處理 2
1.1.3  數(shù)據(jù)預(yù)處理的工作流程 2
1.1.4  數(shù)據(jù)預(yù)處理的應(yīng)用場(chǎng)景 3
1.2  開(kāi)發(fā)工具與環(huán)境 3
1.2.1  Anaconda介紹與安裝 3
1.2.2  Sublime Text 7
1.3  實(shí)戰(zhàn)案例：個(gè)中文分詞程序 12
1.3.1  中文分詞 12
1.3.2  實(shí)例介紹 14
1.3.3  結(jié)巴實(shí)現(xiàn)中文分詞 14
1.4  本章小結(jié) 15
第2章  Python科學(xué)計(jì)算工具 16
2.1  NumPy 16
2.1.1  NumPy的安裝和特點(diǎn) 16
2.1.2  NumPy數(shù)組 18
2.1.3  Numpy的數(shù)學(xué)函數(shù) 20
2.1.4  NumPy線性代數(shù)運(yùn)算 22
2.1.5  NumPy IO操作 22
2.2  SciPy 23
2.2.1  SciPy的安裝和特點(diǎn) 23
2.2.2  SciPy Linalg 25
2.2.3  SciPy文件操作 27
2.2.4  SciPy 插值 28
2.2.5  SciPy Ndimage 30
2.2.6  SciPy優(yōu)化算法 33
2.3  Pandas 35
2.3.1  Pandas的安裝和特點(diǎn) 36
2.3.2  Pandas的數(shù)據(jù)結(jié)構(gòu) 36
2.3.3  Pandas的數(shù)據(jù)統(tǒng)計(jì) 39
2.3.4  Pandas處理丟失值 41
2.3.5  Pandas處理稀疏數(shù)據(jù) 45
2.3.6  Pandas的文件操作 46
2.3.7  Pandas 可視化 48
2.4  本章小結(jié) 54
第3章  數(shù)據(jù)采集與存儲(chǔ) 55
3.1  數(shù)據(jù)與數(shù)據(jù)采集 55
3.2  數(shù)據(jù)類(lèi)型與采集方法 56
3.2.1  結(jié)構(gòu)化數(shù)據(jù) 56
3.2.2  半結(jié)構(gòu)化數(shù)據(jù) 56
3.2.3  非結(jié)構(gòu)化數(shù)據(jù) 57
3.3  網(wǎng)絡(luò)爬蟲(chóng)技術(shù) 57
3.3.1  前置條件 58
3.3.2  Scrapy 技術(shù)原理 58
3.3.3  Scrapy新建爬蟲(chóng)項(xiàng)目 59
3.3.4  爬取網(wǎng)站內(nèi)容 61
3.4  爬取數(shù)據(jù)以JSON格式進(jìn)行存儲(chǔ) 69
3.5  爬取數(shù)據(jù)的MySQL存儲(chǔ) 71
3.5.1  MySQL與Navicat部署 71
3.5.2  MySQL存儲(chǔ)爬蟲(chóng)數(shù)據(jù) 72
3.6  網(wǎng)絡(luò)爬蟲(chóng)技術(shù)擴(kuò)展 75
3.7  本章小結(jié) 76
第4章  文本信息抽取 77
4.1  文本抽取概述 77
4.2  文本抽取問(wèn)題 78
4.3  Pywin32抽取文本信息 79
4.3.1  Pywin32介紹 79
4.3.2  抽取Word文檔文本信息 80
4.3.3  抽取PDF文檔文本信息 83
4.3.4  打造靈活的文本抽取工具 84
4.4  文本批量編碼 86
4.5  實(shí)戰(zhàn)案例：遍歷文件批量抽取新聞文本內(nèi)容 86
4.5.1  遞歸讀取文件 87
4.5.2  遍歷抽取新聞文本 88
4.6  本章小結(jié) 91
第5章  文本數(shù)據(jù)清洗 92
5.1  新聞?wù)Z料的準(zhǔn)備 92
5.2  高效讀取文件 93
5.2.1  遞歸遍歷讀取新聞 94
5.2.2  yield生成器 95
5.2.3  高效遍歷讀取新聞 97
5.3  通過(guò)正則表達(dá)式來(lái)清洗文本數(shù)據(jù) 98
5.3.1  正則表達(dá)式 98
5.3.2  清洗文本數(shù)據(jù) 100
5.4  清洗HTML網(wǎng)頁(yè)數(shù)據(jù) 102
5.5  簡(jiǎn)繁字體轉(zhuǎn)換 104
5.6  實(shí)戰(zhàn)案例：批量新聞文本數(shù)據(jù)清洗 106
5.6.1  高效讀取文件內(nèi)容 106
5.6.2  抽樣處理文件 107
5.6.3  通過(guò)正則表達(dá)式批量清洗文件 108
5.7  本章小結(jié) 109
第6章  中文分詞技術(shù) 110
6.1  中文分詞簡(jiǎn)介 110
6.1.1  中文分詞概述 110
6.1.2  常見(jiàn)中文分詞方法 111
6.2  結(jié)巴分詞精講 112
6.2.1  結(jié)巴分詞的特點(diǎn) 112
6.2.2  結(jié)巴分詞的安裝 112
6.2.3  結(jié)巴分詞核心方法 112
6.2.4  結(jié)巴中文分詞的基本操作 113
6.2.5  自定義分詞詞典 114
6.2.6  關(guān)鍵詞提取 115
6.2.7  詞性標(biāo)注 116
6.3  HanLP分詞精講 117
6.3.1  JPype1的安裝 117
6.3.2  調(diào)用HanLP的Java包 117
6.3.3  HanLP分詞 118
6.3.4  HanLP實(shí)現(xiàn)自定義分詞 120
6.3.5  命名實(shí)體識(shí)別與詞性標(biāo)注 120
6.3.6  HanLP實(shí)現(xiàn)關(guān)鍵詞抽取 121
6.3.7  HanLP實(shí)現(xiàn)自動(dòng)摘要 121
6.4  自定義去除停用詞 122
6.4.1  以正則表達(dá)式對(duì)文本信息進(jìn)行清洗 122
6.4.2  結(jié)巴中文分詞詞性解讀 124
6.4.3  根據(jù)詞性規(guī)則構(gòu)建自定義停用詞 126
6.5  詞頻統(tǒng)計(jì) 126
6.5.1  NLTK介紹與安裝 126
6.5.2  統(tǒng)計(jì)新聞文本詞頻 128
6.5.3  統(tǒng)計(jì)特定詞頻和次數(shù) 129
6.5.4  特征詞的頻率分布表 129
6.5.5  頻率分布圖與頻率累計(jì)分布圖 130
6.5.6  基于Counter的詞頻統(tǒng)計(jì) 131
6.6  自定義去高低詞頻 132
6.7  自定義規(guī)則提取特征詞 133
6.8  實(shí)戰(zhàn)案例：新聞文本分詞處理 134
6.9  本章小結(jié) 135
第7章  文本特征向量化 136
7.1  解析數(shù)據(jù)文件 136
7.2  處理缺失值 138
7.2.1  什么是數(shù)據(jù)缺失值 138
7.2.2  均值法處理數(shù)據(jù)缺失值 139
7.2.3  Pandas 處理缺失值 141
7.3  數(shù)據(jù)的歸一化處理 143
7.3.1  不均衡數(shù)據(jù)分析 143
7.3.2  歸一化的原理 144
7.3.3  歸一化的優(yōu)點(diǎn) 145
7.4  特征詞轉(zhuǎn)文本向量 146
7.5  詞頻-逆詞頻（TF-IDF） 147
7.6  詞集模型與詞袋模型 148
7.7  實(shí)戰(zhàn)案例：新聞文本特征向量化 153
7.8  本章小結(jié) 154
第8章  Gensim文本向量化 155
8.1  Gensim的特性和核心概念 155
8.2  Gensim構(gòu)建語(yǔ)料詞典 156
8.3  Gensim統(tǒng)計(jì)詞頻特征 158
8.4  Gensim計(jì)算TF-IDF 158
8.5  Gensim實(shí)現(xiàn)主題模型 160
8.5.1  主題模型 160
8.5.2  潛在語(yǔ)義分析（LSA） 161
8.5.3  隱含狄利克雷分布（LDA） 164
8.5.4  LDA的模型實(shí)現(xiàn) 166
8.5.5  隨機(jī)映射（RP） 167
8.6  實(shí)戰(zhàn)案例：Gensim實(shí)現(xiàn)新聞文本特征向量化 169
8.6.1  參數(shù)設(shè)置 169
8.6.2  生成詞典模型 170
8.6.3  生成TF-IDF模型 172
8.7  本章小結(jié) 173
第9章  PCA降維技術(shù) 174
9.1  什么是降維 174
9.2  PCA概述 175
9.3  PCA應(yīng)用場(chǎng)景 177
9.4  PCA的算法實(shí)現(xiàn) 178
9.4.1  準(zhǔn)備數(shù)據(jù) 178
9.4.2  PCA數(shù)據(jù)降維 179
9.4.3  高維向低維數(shù)據(jù)映射 181
9.5  實(shí)戰(zhàn)案例：PCA技術(shù)實(shí)現(xiàn)新聞文本特征降維 182
9.5.1  加載新聞數(shù)據(jù) 182
9.5.2  前N個(gè)主成分特征 184
9.5.3  PCA新聞特征降維可視化 186
9.6  本章小結(jié) 187
第10章  數(shù)據(jù)可視化 188
10.1  Matplotlib概述 188
10.1.1  認(rèn)識(shí) Matplotlib 188
10.1.2  Matplotlib的架構(gòu) 190
10.2  Matplotlib繪制折線圖 193
10.2.1  折線圖的應(yīng)用場(chǎng)景 193
10.2.2  折線圖的繪制示例 193
10.3  Matplotlib繪制散點(diǎn)圖 195
10.3.1  散點(diǎn)圖的應(yīng)用場(chǎng)景 195
10.3.2  散點(diǎn)圖的繪制示例 195
10.4  Matplotlib繪制直方圖 197
10.4.1  直方圖的應(yīng)用場(chǎng)景 197
10.4.2  直方圖的繪制示例 197
10.5  練習(xí)：Matplotlib繪制氣溫圖 198
10.6  練習(xí)：Matplotlib繪制三維圖 200
10.6.1  練習(xí)1：繪制三維梯度下降圖 200
10.6.2  練習(xí)2：繪制三維散點(diǎn)圖 201
10.7  本章小結(jié) 203
第11章  競(jìng)賽神器XGBoost 204
11.1  XGBoost概述 204
11.1.1  認(rèn)識(shí)XGBoost 204
11.1.2  XGBoost的應(yīng)用場(chǎng)景 205
11.2  XGBoost的優(yōu)點(diǎn) 206
11.3  使用XGBoost預(yù)測(cè)毒蘑菇 206
11.3.1  XGBoost的開(kāi)發(fā)環(huán)境及安裝 206
11.3.2  數(shù)據(jù)準(zhǔn)備 207
11.3.3  參數(shù)設(shè)置 207
11.3.4  模型訓(xùn)練 208
11.3.5  可視化特征排名 210
11.4  XGBoost優(yōu)化調(diào)參 210
11.4.1  參數(shù)解讀 211
11.4.2  調(diào)參原則 214
11.4.3  調(diào)參技巧 215
11.5  預(yù)測(cè)糖尿病患者 215
11.5.1  數(shù)據(jù)準(zhǔn)備 215
11.5.2  預(yù)測(cè)器模型構(gòu)建 216
11.5.3  調(diào)參提高預(yù)測(cè)器的性能 220
11.6  本章小結(jié) 228
第12章  XGBoost實(shí)現(xiàn)新聞文本分類(lèi) 229
12.1  文本分類(lèi)概述 229
12.2  文本分類(lèi)的原理 230
12.2.1  文本分類(lèi)的數(shù)學(xué)描述 230
12.2.2  文本分類(lèi)的形式化描述 231
12.3  分類(lèi)模型評(píng)估 231
12.4  數(shù)據(jù)預(yù)處理 233
12.4.1  通用的類(lèi)庫(kù) 234
12.4.2  階段1：生成詞典 236
12.4.3  階段2：詞典向量化TF-IDF 238
12.4.4  階段3：生成主題模型 240
12.5  XGBoost分類(lèi)器 243
12.6  新聞文本分類(lèi)應(yīng)用 248
12.7  本章小結(jié) 251
參考文獻(xiàn) 252