大數(shù)據(jù)與商務分析

目錄
前言
第1章　大數(shù)據(jù)概論　1
1.1　什么是大數(shù)據(jù)　1
1.1.1　大數(shù)據(jù)時代背景　1
1.1.2　大數(shù)據(jù)的定義　2
1.1.3　大數(shù)據(jù)的特征　5
1.1.4　DIKW模型　6
1.2　大數(shù)據(jù)的產(chǎn)生與來源　8
1.2.1　信息-物理-社會融合系統(tǒng)　8
1.2.2　大數(shù)據(jù)的產(chǎn)生方式　9
1.2.3　典型大數(shù)據(jù)來源　9
1.3　大數(shù)據(jù)時代的科研范式　13
1.3.1　數(shù)據(jù)科學　13
1.3.2　數(shù)據(jù)密集型科學發(fā)現(xiàn)　14
1.3.3　計算社會科學　15
1.4　大數(shù)據(jù)人才與組織　16
1.4.1　大數(shù)據(jù)人才　16
1.4.2　大數(shù)據(jù)組織　17
1.5　大數(shù)據(jù)安全與隱私保護　18
1.5.1　大數(shù)據(jù)安全　18
1.5.2　隱私保護　20
參考文獻　21
第2章　商務分析基礎　22
2.1　商務分析概述　22
2.1.1　什么是商務分析　22
2.1.2　從商務智能到商務分析　23
2.1.3　大數(shù)據(jù)時代的商務分析　25
2.2　商務數(shù)據(jù)分析框架　26
2.2.1　描述性分析　26
2.2.2　預測性分析　26
2.2.3　規(guī)范性分析　27
2.3　常用的商務數(shù)據(jù)分析方法　28
2.3.1　關聯(lián)分析　28
2.3.2　聚類分析　28
2.3.3　分類分析　28
2.3.4　回歸分析　29
2.4　商務數(shù)據(jù)分析流程　29
2.4.1　數(shù)據(jù)分析過程模型　29
2.4.2　六階段任務　30
參考文獻　32
第3章　大數(shù)據(jù)管理　33
3.1　結構化數(shù)據(jù)與非結構化數(shù)據(jù)　33
3.1.1　結構化數(shù)據(jù)　34
3.1.2　非結構化數(shù)據(jù)　34
3.2　元數(shù)據(jù)管理　35
3.2.1　什么是元數(shù)據(jù)　35
3.2.2　元數(shù)據(jù)如何管理　37
3.3　大數(shù)據(jù)存儲管理　38
3.3.1　傳統(tǒng)關系型數(shù)據(jù)庫　38
3.3.2　數(shù)據(jù)倉庫與數(shù)據(jù)集市　39
3.3.3　NoSQL數(shù)據(jù)庫　41
3.3.4　Hadoop與MapReduce　42
3.3.5　云計算與云數(shù)據(jù)管理　44
3.4　數(shù)據(jù)質量管理　46
3.4.1　數(shù)據(jù)質量維度　46
3.4.2　影響數(shù)據(jù)質量的因素　48
3.4.3　數(shù)據(jù)生命周期　49
3.4.4　數(shù)據(jù)質量管理方法　50
參考文獻　52
第4章　數(shù)據(jù)預處理　53
4.1　數(shù)據(jù)清洗　53
4.1.1　缺失數(shù)據(jù)處理　53
4.1.2　噪聲數(shù)據(jù)處理　54
4.2　數(shù)據(jù)集成　55
4.2.1　模式集成問題　55
4.2.2　屬性語義差異和結構差異問題　55
4.2.3　冗余問題　56
4.2.4　數(shù)據(jù)重復問題　56
4.2.5　數(shù)據(jù)沖突問題　57
4.3　數(shù)據(jù)轉換　57
4.4　數(shù)據(jù)降維　57
4.4.1　維數(shù)災難　58
4.4.2　降維方法　59
參考文獻　61
第5章　數(shù)據(jù)探索分析　62
5.1　數(shù)據(jù)描述統(tǒng)計分析　62
5.1.1　分散趨勢分析　62
5.1.2　集中趨勢分析　63
5.1.3　變異分析　63
5.1.4　相關分析　63
5.2　數(shù)據(jù)可視化　64
5.2.1　數(shù)據(jù)可視化的價值　64
5.2.2　趨勢型數(shù)據(jù)可視化　65
5.2.3　對比型數(shù)據(jù)可視化　68
5.2.4　比例型數(shù)據(jù)可視化　75
5.2.5　分布型數(shù)據(jù)可視化　78
5.2.6　關系型數(shù)據(jù)可視化　81
5.2.7　地理型數(shù)據(jù)可視化　84
參考文獻　84
第6章　描述性數(shù)據(jù)分析　85
6.1　關聯(lián)分析　85
6.1.1　頻繁項集　85
6.1.2　關聯(lián)規(guī)則　85
6.1.3　關聯(lián)規(guī)則發(fā)現(xiàn)流程　86
6.1.4　Apriori算法　87
6.1.5　FP-growth算法　92
6.1.6　關聯(lián)規(guī)則評價　96
6.2　序列模式分析　98
6.2.1　基本概念　98
6.2.2　序列模式挖掘　99
6.2.3　AprioriAll算法　100
6.2.4　GSP算法　102
6.2.5　FreeSpan算法　102
6.2.6　PrefixSpan算法　102
6.2.7　算法比較　104
6.3　聚類分析　105
6.3.1　聚類分析方法分類　105
6.3.2　劃分聚類方法　107
6.3.3　層次聚類方法　110
6.3.4　密度聚類方法　117
6.3.5　聚類性能評估　120
6.4　離群點檢測　123
6.4.1　離群點及檢測方法概述　123
6.4.2　基于統(tǒng)計的離群點檢測　125
6.4.3　基于距離的離群點檢測　126
6.4.4　基于密度的離群點檢測　127
6.4.5　基于聚類的離群點檢測　128
參考文獻　130
第7章　預測性數(shù)據(jù)分析　131
7.1　線性回歸分析　131
7.1.1　一元線性回歸分析　131
7.1.2　多元線性回歸分析　133
7.2　時間序列分析　135
7.2.1　時間序列的組成成分　136
7.2.2　平穩(wěn)序列的預測　137
7.2.3　趨勢型序列的預測　139
7.2.4　季節(jié)型序列的預測　140
7.2.5　時間序列預測方法的選擇　141
7.2.6　復合型序列的分解預測　142
7.3　判別分析　142
7.3.1　判別分析的基本思想　143
7.3.2　兩個總體的判別分析　144
7.3.3　多個總體的判別分析　145
7.3.4　應用實例　145
7.4　分類算法　147
7.4.1　分類的數(shù)學定義　148
7.4.2　決策樹　149
7.4.3　貝葉斯分類　153
7.4.4　k-*近鄰分類　155
7.4.5　人工神經(jīng)網(wǎng)絡　156
7.4.6　支持向量機　159
7.5　推薦算法　161
7.5.1　個性化推薦的基本概念　161
7.5.2　協(xié)同過濾推薦　161
7.5.3　基于內容的推薦　165
7.5.4　基于知識的推薦　165
7.5.5　基于信任的推薦　167
7.5.6　混合推薦　168
7.5.7　應用實例　170
參考文獻　171
第8章　規(guī)范性數(shù)據(jù)分析　173
8.1　決策分析　173
8.1.1　決策的定義與決策過程　173
8.1.2　決策問題的類型　174
8.1.3　決策問題的描述　177
8.1.4　決策模型與求解方法　177
8.2　數(shù)據(jù)驅動的決策　179
8.2.1　數(shù)據(jù)文化　180
8.2.2　數(shù)據(jù)驅動型決策的步驟　181
8.2.3　大數(shù)據(jù)驅動的管理決策范式與框架　182
8.3　決策支持系統(tǒng)　185
8.3.1　決策支持系統(tǒng)的組件　186
8.3.2　新一代決策支持系統(tǒng)　187
8.4　商務智能系統(tǒng)　188
8.4.1　商務智能系統(tǒng)的主要功能　188
8.4.2　商務智能系統(tǒng)的體系架構　189
8.5　知識管理系統(tǒng)　190
8.5.1　知識系統(tǒng)的工作過程　191
8.5.2　知識系統(tǒng)的功能與結構　191
8.6　個性化推薦系統(tǒng)　195
8.6.1　推薦系統(tǒng)的工作原理與構成　195
8.6.2　推薦系統(tǒng)的架構　196
8.7　收益管理系統(tǒng)　198
8.7.1　收益管理理論　198
8.7.2　收益管理系統(tǒng)的體系架構　200
8.7.3　收益管理優(yōu)化算例　201
參考文獻　202
第9章　非結構化數(shù)據(jù)分析　203
9.1　Web數(shù)據(jù)分析　203
9.1.1　Web數(shù)據(jù)分析任務　203
9.1.2　Web挖掘的基本流程　205
9.1.3　Web信息爬取　206
9.1.4　Web結構挖掘　212
9.1.5　Web觀點挖掘　215
9.1.6　Web使用挖掘　220
9.2　文本數(shù)據(jù)分析　222
9.2.1　預處理技術　222
9.2.2　文本表示　228
9.2.3　文本聚類　235
9.2.4　文本分類　238
9.3　圖數(shù)據(jù)分析　239
9.3.1　圖的基礎知識　239
9.3.2　二分圖匹配　243
9.3.3　頻繁子圖挖掘　245
9.3.4　圖聚類　249
參考文獻　254