構(gòu)建數(shù)據(jù)湖倉

引言
第一章向數(shù)據(jù)湖倉演進
1.技術(shù)的演進3
2.組織內(nèi)的全部數(shù)據(jù)8
3.商業(yè)價值在哪里？12
4.數(shù)據(jù)湖13
5.當前數(shù)據(jù)架構(gòu)的挑戰(zhàn)14
6.數(shù)據(jù)湖倉的出現(xiàn)15
第二章數(shù)據(jù)科學家和終端用戶
1.數(shù)據(jù)湖20
2.分析基礎設施21
3.不同的受眾21
4.分析工具不同22
5.分析目的不同23
6.分析方法不同24
7.數(shù)據(jù)類型不同24
第三章數(shù)據(jù)湖倉中的不同類型數(shù)據(jù)
1.數(shù)據(jù)的類型28
2.不同數(shù)據(jù)的容量31
3.跨越不同類型數(shù)據(jù)的關聯(lián)數(shù)據(jù)32
4.基于訪問概率對數(shù)據(jù)進行分片33
5.模擬和物聯(lián)網(wǎng)環(huán)境中的關聯(lián)數(shù)據(jù)33
6.分析基礎設施35
第四章開放的湖倉環(huán)境
1.開放系統(tǒng)的演進38
2.與時俱進的創(chuàng)新39
3.建立在開放、標準文件格式之上的非結(jié)構(gòu)化湖倉39
4.開源數(shù)據(jù)湖倉軟件40
5.數(shù)據(jù)湖倉提供超越SQL的開放API41
6.數(shù)據(jù)湖倉支持開放數(shù)據(jù)共享42
7.數(shù)據(jù)湖倉支持開放數(shù)據(jù)探索43
8.數(shù)據(jù)湖倉通過開放數(shù)據(jù)目錄簡化數(shù)據(jù)發(fā)現(xiàn)44
9.利用云原生架構(gòu)的數(shù)據(jù)湖倉45
10.向開放的數(shù)據(jù)湖倉演進46
第五章機器學習和數(shù)據(jù)湖倉
1.機器學習47
2.機器學習需要湖倉提供什么？48
3.從數(shù)據(jù)中挖掘出新價值48
4.解決這個難題48
5.非結(jié)構(gòu)化數(shù)據(jù)問題49
6.開源的重要性51
7.發(fā)揮云的彈性優(yōu)勢51
8.為數(shù)據(jù)平臺設計“MLOps”52
9.案例：運用機器學習對胸透X光片進行分類53
10.數(shù)據(jù)湖倉的非結(jié)構(gòu)化組件的演進55
第六章數(shù)據(jù)湖倉中的分析基礎設施
1.元數(shù)據(jù)58
2.數(shù)據(jù)模型59
3.數(shù)據(jù)質(zhì)量60
4.ETL61
5.文本ETL62
6.分類標準62
7.數(shù)據(jù)體量63
8.數(shù)據(jù)血緣64
9.KPI65
10.數(shù)據(jù)的粒度66
11.事務66
12.鍵66
13.處理計劃67
14.匯總數(shù)據(jù)67
15.最低要求68
第七章數(shù)據(jù)湖倉中的數(shù)據(jù)融合
1.湖倉和數(shù)據(jù)湖倉69
2.數(shù)據(jù)的源頭70
3.不同類型的分析70
4.通用標識符72
5.結(jié)構(gòu)化標識符72
6.重復數(shù)據(jù)73
7.文本環(huán)境中的標識符74
8.文本數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)的融合76
9.匹配的重要性81
第八章跨數(shù)據(jù)湖倉架構(gòu)的分析類型
1.已知查詢83
2.啟發(fā)式分析85
第九章數(shù)據(jù)湖倉倉務管理
1.數(shù)據(jù)集成和互操作92
2.數(shù)據(jù)湖倉的主數(shù)據(jù)及參考數(shù)據(jù)94
3.數(shù)據(jù)湖倉的隱私、保密和數(shù)據(jù)保護96
4.數(shù)據(jù)湖倉中面向未來的數(shù)據(jù)97
5.面向未來的數(shù)據(jù)的五個階段101
6.數(shù)據(jù)湖倉的例行維護108
第十章可視化
1.將數(shù)據(jù)轉(zhuǎn)化為信息110
2.什么是數(shù)據(jù)可視化？為什么它很重要？112
3.數(shù)據(jù)可視化、數(shù)據(jù)分析和數(shù)據(jù)解釋之間的差異113
4.數(shù)據(jù)可視化的優(yōu)勢115
第十一章數(shù)據(jù)湖倉架構(gòu)中的數(shù)據(jù)血緣
1.計算鏈124
2.數(shù)據(jù)選取126
3.算法差異126
4.文本數(shù)據(jù)血緣127
5.其他非結(jié)構(gòu)化環(huán)境的數(shù)據(jù)血緣128
6.數(shù)據(jù)血緣129
第十二章數(shù)據(jù)湖倉架構(gòu)中的訪問概率
1.數(shù)據(jù)的高效排列131
2.數(shù)據(jù)的訪問概率131
3.數(shù)據(jù)湖倉中不同的數(shù)據(jù)類型133
4.數(shù)據(jù)量的相對差異133
5.數(shù)據(jù)分片的優(yōu)勢134
6.使用大容量存儲134
7.附加索引135
第十三章跨越鴻溝
1.合并數(shù)據(jù)136
2.不同種類的數(shù)據(jù)137
3.不同的業(yè)務需求137
4.跨越鴻溝137
第十四章數(shù)據(jù)湖倉中的海量數(shù)據(jù)
1.海量數(shù)據(jù)的分布145
2.高性能、大容量的數(shù)據(jù)存儲146
3.附加索引和摘要146
4.周期性的數(shù)據(jù)過濾148
5.數(shù)據(jù)標記法148
6.分離文本和數(shù)據(jù)庫149
7.歸檔存儲149
8.監(jiān)測活動150
9.并行處理151
第十五章數(shù)據(jù)治理與數(shù)據(jù)湖倉
1.數(shù)據(jù)治理的目的152
2.數(shù)據(jù)生命周期管理154
3.數(shù)據(jù)質(zhì)量管理156
4.元數(shù)據(jù)管理的重要性157
5.隨著時間推移的數(shù)據(jù)治理157
6.數(shù)據(jù)治理的類型158
7.貫穿數(shù)據(jù)湖倉的數(shù)據(jù)治理159
8.數(shù)據(jù)治理的注意事項160
第十六章現(xiàn)代數(shù)據(jù)倉庫
1.應用程序的普及162
2.信息孤島163
3.復雜網(wǎng)絡環(huán)境164
4.數(shù)據(jù)倉庫165
5.數(shù)據(jù)倉庫的定義166
6.歷史數(shù)據(jù)167
7.關系模型167
8.數(shù)據(jù)的本地形式168
9.集成數(shù)據(jù)的需要169
10.時過境遷170
11.當今世界170
12.不同體量的數(shù)據(jù)172
13.數(shù)據(jù)與業(yè)務的關系173
14.將數(shù)據(jù)納入數(shù)據(jù)倉庫173
15.現(xiàn)代數(shù)據(jù)倉庫174
16.什么時候我們不再需要數(shù)據(jù)倉庫？175
17.數(shù)據(jù)湖176
18.以數(shù)據(jù)倉庫作為基礎177
19.數(shù)據(jù)堆棧178