大數(shù)據(jù)通識讀本

目錄
第1章 引言 1
1.1 大數(shù)據(jù)時代 1
1.2 大數(shù)據(jù)與思維變革 2
1.3 大數(shù)據(jù)與商業(yè)變革 5
1.4 大數(shù)據(jù)與管理變革 10
第2章 大數(shù)據(jù)概述 13
2.1 大數(shù)據(jù)基礎 13
2.1.1 大數(shù)據(jù)概念 13
2.1.2 大數(shù)據(jù)來源 15
2.1.3 大數(shù)據(jù)特征及度量單位 17
2.1.4 大數(shù)據(jù)分類 19
2.1.5 大數(shù)據(jù)獲取方式 21
2.1.6 大數(shù)據(jù)應用場景 21
2.2 大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)、人工智能 23
2.2.1 云計算 23
2.2.2 物聯(lián)網(wǎng) 26
2.2.3 大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關系 27
2.2.4 人工智能 28
2.2.5 大數(shù)據(jù)與人工智能的關系 30
2.2.6 物聯(lián)網(wǎng)與人工智能的應用 30
2.3 大數(shù)據(jù)處理流程 34
2.3.1 大數(shù)據(jù)采集及預處理 35
2.3.2 大數(shù)據(jù)存儲 37
2.3.3 大數(shù)據(jù)分析 39
2.3.4 大數(shù)據(jù)可視化 40
2.4 大數(shù)據(jù)產(chǎn)業(yè)鏈 41
2.4.1 對大數(shù)據(jù)產(chǎn)業(yè)的理解 41
2.4.2 大數(shù)據(jù)產(chǎn)業(yè)現(xiàn)狀 42
2.5 大數(shù)據(jù)應用案例 44
第3章 大數(shù)據(jù)采集及預處理 48
3.1 大數(shù)據(jù)采集概述 48
3.1.1 大數(shù)據(jù)采集概念 48
3.1.2 采集數(shù)據(jù)來源及分類 49
3.1.3 大數(shù)據(jù)采集的應用 51
3.1.4 大數(shù)據(jù)采集的挑戰(zhàn) 52
3.2 大數(shù)據(jù)的采集方法 54
3.2.1 人工采集 54
3.2.2 系統(tǒng)日志采集 54
3.2.3 ETL工具采集 55
3.2.4 網(wǎng)絡爬蟲采集 56
3.2.5 傳感器采集 58
3.3 大數(shù)據(jù)預處理技術 59
3.3.1 數(shù)據(jù)預處理概念 59
3.3.2 數(shù)據(jù)清洗 59
3.3.3 數(shù)據(jù)集成 63
3.3.4 數(shù)據(jù)變換 63
3.3.5 數(shù)據(jù)歸約 64
3.4 大數(shù)據(jù)采集及預處理工具 65
3.5 大數(shù)據(jù)采集及預處理案例 68
3.5.1 城市群時空大數(shù)據(jù)采集 68
3.5.2 智能交通大數(shù)據(jù)預處理 71
第4章 大數(shù)據(jù)存儲 73
4.1 存儲介質及存儲架構 73
4.2 傳統(tǒng)數(shù)據(jù)存儲和管理 77
4.2.1 文件系統(tǒng) 77
4.2.2 關系數(shù)據(jù)庫 78
4.2.3 數(shù)據(jù)倉庫 80
4.3 大數(shù)據(jù)時代的數(shù)據(jù)存儲和管理 82
4.3.1 大數(shù)據(jù)時代數(shù)據(jù)存儲的新挑戰(zhàn) 82
4.3.2 分布式文件系統(tǒng) 84
4.3.3 HDFS系統(tǒng) 85
4.3.4 NoSQL數(shù)據(jù)庫 87
4.3.5 HBase數(shù)據(jù)庫 89
4.3.6 NewSQL數(shù)據(jù)庫 91
4.3.7 Hive數(shù)據(jù)倉庫 92
4.3.8 云數(shù)據(jù)庫 94
4.4 大數(shù)據(jù)存儲案例 95
第5章 大數(shù)據(jù)分析 98
5.1 統(tǒng)計數(shù)據(jù)分析 98
5.1.1 數(shù)據(jù)的頻數(shù)分析 98
5.1.2 數(shù)據(jù)的集中趨勢分析 100
5.1.3 數(shù)據(jù)的離散趨勢分析 101
5.1.4 相關性分析 101
5.2 基于機器學習的數(shù)據(jù)分析 107
5.2.1 回歸 107
5.2.2 分類 109
5.3 數(shù)據(jù)分析工具 115
5.3.1 Excel 115
5.3.2 SPSS 115
5.3.3 MATLAB 115
5.3.4 Python 116
5.3.5 R 116
5.4 大數(shù)據(jù)分析案例 116
第6章 大數(shù)據(jù)可視化 124
6.1 可視化基礎 124
6.1.1 可視化概念 124
6.1.2 視覺感知 125
6.1.3 視覺編碼 127
6.1.4 可視化的功能 128
6.1.5 可視化發(fā)展歷程 130
6.1.6 數(shù)據(jù)可視化分類 131
6.2 可視化圖表 133
6.2.1 散點圖 133
6.2.2 氣泡圖 134
6.2.3 折線圖 135
6.2.4 柱(條)形圖 136
6.2.5 直方圖 137
6.2.6 餅圖 138
6.2.7 雷達圖 138
6.2.8 等值線圖 139
6.2.9 熱力圖 141
6.2.10 維恩圖 142
6.2.11 盒須圖 142
6.2.12 多圖協(xié)調(diào) 143
6.2.13 標簽云圖 144
6.2.14 力引導圖 144
6.3 科學計算可視化 145
6.3.1 可視化流程 145
6.3.2 一維可視化 147
6.3.3 二維可視化 147
6.3.4 三維可視化 148
6.3.5 流場可視化 152
6.3.6 大規(guī)模數(shù)據(jù)可視化 152
6.3.7 真實感渲染技術 154
6.3.8 體感互動技術 158
6.3.9 增強現(xiàn)實技術 159
6.3.10 可視化設備 160
6.4 大數(shù)據(jù)可視化工具 162
6.4.1 入門級可視化工具 162
6.4.2 信息圖表工具 163
6.4.3 地圖工具 165
6.4.4 時間線工具 165
6.5 大數(shù)據(jù)可視化案例 166
6.5.1 永恒洋流 166
6.5.2 宋詞繾綣，何處畫人間 166
第7章 大數(shù)據(jù)安全與隱私保護 169
7.1 大數(shù)據(jù)安全挑戰(zhàn)與需求 169
7.1.1 大數(shù)據(jù)泄露事件 169
7.1.2 大數(shù)據(jù)時代的安全挑戰(zhàn) 171
7.1.3 各行業(yè)的大數(shù)據(jù)安全需求 173
7.2 大數(shù)據(jù)隱私保護 175
7.2.1 大數(shù)據(jù)生命周期的隱私保護模型 175
7.2.2 大數(shù)據(jù)隱私保護技術 177
7.3 基于大數(shù)據(jù)的安全技術 183
7.3.1 基于大數(shù)據(jù)的認證技術 184
7.3.2 基于大數(shù)據(jù)的威脅發(fā)現(xiàn)技術 185
7.3.3 基于大數(shù)據(jù)的數(shù)據(jù)真實性分析 187
7.4 大數(shù)據(jù)安全與隱私保護案例 187
第8章 大數(shù)據(jù)倫理與法律法規(guī) 190
8.1 個人隱私引發(fā)的倫理問題 190
8.1.1 個性化定制與推薦 191
8.1.2 基于大數(shù)據(jù)的人的心理和性格分析 193
8.1.3 優(yōu)步的“榮耀之旅” 194
8.1.4 個人的生物特征隱私問題 195
8.2 數(shù)字鴻溝問題 197
8.3 數(shù)據(jù)時效性問題 199
8.4 數(shù)據(jù)權歸屬問題 201
8.5 大數(shù)據(jù)與數(shù)據(jù)分析的真實可靠性問題 203
8.5.1 大數(shù)據(jù)不等于全數(shù)據(jù) 203
8.5.2 防范數(shù)據(jù)失信和數(shù)據(jù)失真的措施 204
8.5.3 項目設計中的算法歧視問題 205
8.5.4 項目設計中使用方法的偏差 206
8.6 大數(shù)據(jù)相關法律法規(guī) 208
8.6.1 美國信息安全戰(zhàn)略布局 208
8.6.2 歐洲聯(lián)盟 209
8.6.3 國際合作 209
8.6.4 國內(nèi)的相關法規(guī) 210
8.7 大數(shù)據(jù)倫理與法律法規(guī)案例 212
第9章 大數(shù)據(jù)應用 215
9.1 電信大數(shù)據(jù) 216
9.1.1 電信大數(shù)據(jù)的特點 216
9.1.2 經(jīng)典創(chuàng)新應用實例——電信大數(shù)據(jù)優(yōu)化現(xiàn)代城市功能與服務 217
9.1.3 電信大數(shù)據(jù)的未來 221
9.2 金融大數(shù)據(jù) 221
9.2.1 金融大數(shù)據(jù)的特點 221
9.2.2 經(jīng)典創(chuàng)新應用案例——個性化營銷策略 222
9.2.3 金融大數(shù)據(jù)應用的未來 223
9.3 政務大數(shù)據(jù) 224
9.3.1 政務大數(shù)據(jù)的特點 224
9.3.2 經(jīng)典創(chuàng)新應用實例——政務大數(shù)據(jù)助力健全監(jiān)管體系 225
9.3.3 政務大數(shù)據(jù)的未來 226
9.4 旅游大數(shù)據(jù) 226
9.4.1 旅游大數(shù)據(jù)的特點 226
9.4.2 經(jīng)典創(chuàng)新應用實例——酒店投資決策 227
9.4.3 旅游大數(shù)據(jù)的未來 227
9.5 大數(shù)據(jù)的其他應用 228
9.5.1 大數(shù)據(jù)在制造業(yè)的應用 228
9.5.2 大數(shù)據(jù)在能源領域的應用 229
9.5.3 大數(shù)據(jù)在交通領域的應用 229
9.5.4 大數(shù)據(jù)在零售行業(yè)的應用 230
9.5.5 大數(shù)據(jù)技術的應用拓展 231
參考文獻 234