大數(shù)據(jù)與機(jī)器學(xué)習(xí)：實踐方法與行業(yè)案例

前言
第一部分　數(shù)據(jù)與平臺篇
第1章　數(shù)據(jù)與數(shù)據(jù)平臺3
1.1　數(shù)據(jù)的基本形態(tài)4
1.1.1　數(shù)據(jù)環(huán)境與數(shù)據(jù)形態(tài)4
1.1.2　生產(chǎn)數(shù)據(jù)5
1.1.3　原始數(shù)據(jù)5
1.1.4　分析數(shù)據(jù)6
1.2　數(shù)據(jù)平臺7
1.2.1　數(shù)據(jù)倉庫平臺9
1.2.2　大數(shù)據(jù)平臺13
1.2.3　MPP數(shù)據(jù)庫22
1.2.4　NoSQL數(shù)據(jù)庫23
1.3　應(yīng)用系統(tǒng)24
1.4　本章小結(jié)25
第2章　數(shù)據(jù)體系26
2.1　數(shù)據(jù)閉環(huán)27
2.2　數(shù)據(jù)緩沖區(qū)28
2.2.1　系統(tǒng)解耦29
2.2.2　批量導(dǎo)出31
2.2.3　FTP傳輸40
2.2.4　批量導(dǎo)入42
2.3　ETL49
2.3.1　ETL工具50
2.3.2　ETL作業(yè)52
2.4　作業(yè)調(diào)度56
2.5　監(jiān)控和預(yù)警56
2.5.1　使用監(jiān)控工具進(jìn)行監(jiān)控57
2.5.2　使用BI工具進(jìn)行監(jiān)控57
2.6　本章小結(jié)57
第3章　實戰(zhàn)：打造數(shù)據(jù)閉環(huán)59
3.1　數(shù)據(jù)緩沖區(qū)的基本規(guī)則60
3.1.1　文件存儲規(guī)則61
3.1.2　文件命名規(guī)則61
3.1.3　文件清理規(guī)則62
3.2　自動加載的流程62
3.2.1　掃描文件63
3.2.2　下載文件64
3.2.3　解壓文件65
3.2.4　加載文件65
3.3　自動加載程序的數(shù)據(jù)庫設(shè)計66
3.3.1　數(shù)據(jù)文件信息表67
3.3.2　數(shù)據(jù)文件狀態(tài)表68
3.3.3　加載配置信息表69
3.3.4　數(shù)據(jù)緩沖區(qū)信息表70
3.3.5　目標(biāo)服務(wù)器表70
3.4　自動加載程序的多線程實現(xiàn)71
3.4.1　ScanFiles72
3.4.2　DownLoadAndUnZip75
3.4.3　LoadToHive77
3.4.4　LoadToOracle78
3.4.5　自動加載程序的部署架構(gòu)79
3.4.6　程序的維護(hù)和優(yōu)化80
3.5　本章小結(jié)80
第二部分　分　析　篇
第4章　數(shù)據(jù)預(yù)處理83
4.1　數(shù)據(jù)表的預(yù)處理84
4.2　變量的預(yù)處理85
4.2.1　缺失值的處理85
4.2.2　極值的處理90
4.3　變量的設(shè)計91
4.3.1　暴力衍生91
4.3.2　交叉升維92
4.4　變量篩選95
4.4.1　篩選顯著變量95
4.4.2　剔除共線性96
4.5　本章小結(jié)100
第5章　聚類，簡單易用的客戶細(xì)分方法101
5.1　從客戶細(xì)分說起102
5.1.1　為什么要做客戶細(xì)分102
5.1.2　怎么做客戶細(xì)分103
5.1.3　聚類分析，無監(jiān)督的客戶細(xì)分方法107
5.2　譜系聚類107
5.2.1　基本步驟107
5.2.2　案例：公司客戶差異化服務(wù)110
5.2.3　譜系聚類方法的題外話115
5.3　K-means算法116
5.3.1　基本步驟116
5.3.2　案例：電商賣家細(xì)分117
5.3.3　K-means算法的題外話121
5.4　本章小結(jié)121
第6章　關(guān)聯(lián)規(guī)則挖掘，發(fā)現(xiàn)產(chǎn)品
加載和交叉銷售機(jī)會122
6.1　銷售的真諦：讓客戶買得更多123
6.1.1　案例：電商的生意經(jīng)123
6.1.2　案例：富國銀行的“商店”經(jīng)營模式124
6.1.3　案例總結(jié)125
6.2　交叉銷售126
6.2.1　為什么要做交叉銷售126
6.2.2　怎么做交叉銷售126
6.3　關(guān)聯(lián)規(guī)則挖掘，發(fā)現(xiàn)交叉銷售機(jī)會128
6.3.1　Apriori算法129
6.3.2　Apriori算法的主要指標(biāo)129
6.3.3　Apriori算法的基本步驟131
6.4　案例：信用卡產(chǎn)品交叉銷售131
6.4.1　準(zhǔn)備數(shù)據(jù)132
6.4.2　SAS實現(xiàn)132
6.4.3　結(jié)果分析133
6.4.4　序列關(guān)聯(lián)分析136
6.4.5　結(jié)果應(yīng)用137
6.5　本章小結(jié)138
第7章　社交網(wǎng)絡(luò)分析，從“關(guān)系
的角度分析問題139
7.1　先看幾張美輪美奐的圖片140
7.2　社交網(wǎng)絡(luò)分析方法142
7.2.1　定義142
7.2.2　應(yīng)用場景142
7.2.3　網(wǎng)絡(luò)識別算法143
7.3　案例：電商通過訂單數(shù)據(jù)識別供應(yīng)鏈144
7.3.1　供應(yīng)鏈及供應(yīng)鏈金融144
7.3.2　識別核心企業(yè)及其上下游關(guān)系144
7.3.3　分析結(jié)果的業(yè)務(wù)應(yīng)用149
7.4　案例：P2P投資風(fēng)險防范151
7.4.1　案例背景151
7.4.2　防范方法152
7.5　本章小結(jié)153
第8章　線性回歸，預(yù)測客戶價值155
8.1　數(shù)值預(yù)測156
8.2　回歸與擬合157
8.2.1　回歸就是擬合157
8.2.2　在Excel中添加趨勢線預(yù)測158
8.3　案例：信用卡客戶價值預(yù)測159
8.3.1　確定預(yù)測目標(biāo)159
8.3.2　準(zhǔn)備建模數(shù)據(jù)161
8.3.3　模型擬合163
8.3.4　模型評估165
8.4　基于客戶價值分層的業(yè)務(wù)策略167
8.5　本章小結(jié)167
第9章　Logistic回歸，精準(zhǔn)營銷的
主要支撐算法169
9.1　大數(shù)據(jù)時代的精準(zhǔn)營銷170
9.1.1　精準(zhǔn)營銷170
9.1.2　基于大數(shù)據(jù)的精準(zhǔn)營銷模式171
9.1.3　如何做到精準(zhǔn)172
9.2　Logistic回歸算法介紹173
9.2.1　算法原理173
9.2.2　關(guān)鍵步驟174
9.3　案例：信用卡消費信貸產(chǎn)品的精準(zhǔn)營銷176
9.3.1　案例背景176
9.3.2　數(shù)據(jù)準(zhǔn)備176
9.3.3　數(shù)據(jù)預(yù)處理180
9.3.4　建模182
9.3.5　模型評估185
9.4　預(yù)測模型的應(yīng)用與評估189
9.5　本章小結(jié)189
第10章　決策樹類算法，反欺詐
模型“專家”191
10.1　決策樹，重要的分類器191
10.2　決策樹的關(guān)鍵思想192
10.2.1　理財客戶畫像案例背景192
10.2.2　關(guān)鍵思想一：遞歸劃分194
10.2.3　關(guān)鍵思想二：剪枝197
10.3　案例：電商盜卡交易風(fēng)險識別198
10.3.1　案例背景198
10.3.2　以SAS實現(xiàn)199
10.3.3　以Clementine實現(xiàn)201
10.3.4　以R實現(xiàn)204
10.4　隨機(jī)森林208
10.5　本章小結(jié)209
第11章　數(shù)據(jù)可視化，是分析更是
設(shè)計210
11.1　數(shù)據(jù)演示之道210
11.1.1　好“色”之圖211
11.1.2　版式有形212
11.1.3　數(shù)據(jù)發(fā)聲214
11.2　個性化地圖215
11.2.1　案例背景：存款增長率指標(biāo)展示215
11.2.2　獲取地理位置的經(jīng)緯度數(shù)據(jù)216
11.2.3　定制地圖背景和圖標(biāo)217
11.2.4　生成地圖220
11.3　文本分析222
11.3.1　案例：電商的客戶評價分析222
11.3.2　分詞223
11.3.3　詞云制作224
11.3.4　情感分析225
11.4　本章小結(jié)227
第三部分　應(yīng)　用　篇
第12章　標(biāo)簽系統(tǒng)231
12.1　認(rèn)識標(biāo)簽系統(tǒng)231
12.2　標(biāo)簽系統(tǒng)的設(shè)計233
12.2.1　標(biāo)簽系統(tǒng)的層次結(jié)構(gòu)233
12.2.2　標(biāo)簽系統(tǒng)的更新規(guī)則233
12.2.3　機(jī)器學(xué)習(xí)模型轉(zhuǎn)化為標(biāo)簽235
12.3　標(biāo)簽系統(tǒng)的實現(xiàn)236
12.3.1　標(biāo)簽映射表237
12.3.2　標(biāo)簽系統(tǒng)的前端實現(xiàn)238
12.3.3　標(biāo)簽系統(tǒng)的數(shù)據(jù)后端實現(xiàn)238
12.3.4　標(biāo)簽系統(tǒng)的在線接口實現(xiàn)242
12.4　本章小結(jié)242
第13章　數(shù)據(jù)自助營銷平臺244
13.1　數(shù)據(jù)自助營銷平臺的價值所在245
13.1.1　自動化營銷，提升工作效率245
13.1.2　降低營銷成本，提升用戶體驗247
13.1.3　個性化營銷，提升響應(yīng)率248
13.1.4　統(tǒng)一管理，便于效果追蹤249
13.2　數(shù)據(jù)自助營銷平臺的實現(xiàn)原則249
13.2.1　數(shù)據(jù)營銷活動的節(jié)點249
13.2.2　數(shù)據(jù)自助營銷平臺的基礎(chǔ)：標(biāo)簽系統(tǒng)251
13.2.3　數(shù)據(jù)自助營銷平臺的批量任務(wù)252
13.2.4　實時數(shù)據(jù)營銷254
13.3　數(shù)據(jù)自助營銷平臺的場景實例254
13.3.1　客戶生命周期管理254
13.3.2　用卡激勵計劃257
13.4　本章小結(jié)260
第14章　基于Mahout的個性化推薦系統(tǒng)261
14.1　Mahout的推薦引擎262
14.1.1　Mahout的安裝配置262
14.1.2　Mahout的使用方式263
14.1.3　協(xié)同過濾算法264
14.1.4　Mahout的推薦引擎265
14.2　規(guī)模與效率268
14.2.1　Mahout推薦算法的適用范圍268
14.2.2　通過分布式解決規(guī)模和效率的問題270
14.3　實現(xiàn)一個推薦系統(tǒng)275
14.3.1　系統(tǒng)框架275
14.3.2　推薦系統(tǒng)的刷新276
14.3.3　部署一個可用的推薦系統(tǒng)276
14.4　本章小結(jié)280
第15章　圖計算與社會網(wǎng)絡(luò)281
15.1　社會網(wǎng)絡(luò)和屬性圖282
15.2　Spark GraphX與Neo4j283
15.2.1　Scala編程語言284
15.2.2　Cypher查詢語言285
15.3　使用Spark GraphX和Neo4j處理社會網(wǎng)絡(luò)286
15.3.1　背景說明286
15.3.2　數(shù)據(jù)準(zhǔn)備286
15.3.3　Spark GraphX處理原始網(wǎng)絡(luò)287
15.3.4　Neo4j交互式查詢分析291
15.3.5　更多的應(yīng)用場景295
15.4　本章小結(jié)296