大數(shù)據(jù)技術(shù)基礎(chǔ)

第1章大數(shù)據(jù)概論001
1.1大數(shù)據(jù)時(shí)代背景001
1.1.1大數(shù)據(jù)的數(shù)據(jù)源001
1.1.2大數(shù)據(jù)的價(jià)值和影響002
1.1.3大數(shù)據(jù)技術(shù)應(yīng)用場景003
1.1.4大數(shù)據(jù)技術(shù)的發(fā)展前景004
1.2大數(shù)據(jù)基本概念005
1.2.1大數(shù)據(jù)定義005
1.2.2大數(shù)據(jù)結(jié)構(gòu)類型007
1.2.3大數(shù)據(jù)核心特征007
1.2.4大數(shù)據(jù)技術(shù)008
1.2.5行業(yè)應(yīng)用大數(shù)據(jù)實(shí)例010
1.3大數(shù)據(jù)系統(tǒng)011
1.3.1設(shè)計(jì)目標(biāo)和原則011
1.3.2當(dāng)前大數(shù)據(jù)系統(tǒng)012
1.4大數(shù)據(jù)與企業(yè)016
1.4.1大數(shù)據(jù)對企業(yè)的挑戰(zhàn)性016
1.4.2企業(yè)大數(shù)據(jù)的發(fā)展方向019
1.4.3企業(yè)大數(shù)據(jù)觀020
本章小結(jié)020
習(xí)題021
第2章初識(shí)Hadoop022
2.1Hadoop簡介022
2.1.1Hadoop概況022
2.1.2Hadoop的功能和作用023
2.1.3Hadoop的優(yōu)勢023
2.1.4Hadoop的發(fā)展史024
2.1.5Hadoop的應(yīng)用前景025
2.2深入了解Hadoop025
2.2.1Hadoop的體系結(jié)構(gòu)025
2.2.2Hadoop與分布式開發(fā)027
2.2.3Hadoop生態(tài)系統(tǒng)029
2.3Hadoop與其他系統(tǒng)030
2.3.1Hadoop與關(guān)系型數(shù)據(jù)庫管理系統(tǒng)030
2.3.2Hadoop與云計(jì)算032
2.4Hadoop應(yīng)用案例032
2.4.1Hadoop在百度的應(yīng)用032
2.4.2Hadoop在Yahoo！的應(yīng)用033
2.4.3Hadoop在eBay的應(yīng)用035
本章小結(jié)037
習(xí)題037
大數(shù)據(jù)
技術(shù)基礎(chǔ)
目錄
第3章認(rèn)識(shí)HDFS039
3.1HDFS簡介039
3.2HDFS的特性和設(shè)計(jì)目標(biāo)040
3.2.1HDFS的特性040
3.2.2HDFS的設(shè)計(jì)目標(biāo)041
3.3HDFS的核心設(shè)計(jì)042
3.3.1數(shù)據(jù)塊042
3.3.2數(shù)據(jù)復(fù)制042
3.3.3數(shù)據(jù)副本的存放策略043
3.3.4機(jī)架感知045
3.3.5安全模式046
3.3.6負(fù)載均衡047
3.3.7心跳機(jī)制048
3.4HDFS的體系結(jié)構(gòu)049
3.4.1Master/Slave架構(gòu)049
3.4.2NameNode、SecondaryNameNode、DataNode050
本章小結(jié)055
習(xí)題055
第4章HDFS的運(yùn)行機(jī)制056
4.1HDFS中數(shù)據(jù)流的讀寫056
4.1.1RPC實(shí)現(xiàn)流程056
4.1.2RPC實(shí)現(xiàn)模型057
4.1.3文件的讀取059
4.1.4文件的寫入060
4.1.5文件的一致模型061
4.2HDFS的HA機(jī)制062
4.2.1為什么有HA機(jī)制062
4.2.2HA集群和架構(gòu)063
4.3HDFS的Federation機(jī)制064
4.3.1為什么引入Federation機(jī)制064
4.3.2Federation架構(gòu)066
4.3.3多命名空間管理067
本章小結(jié)067
習(xí)題068
第5章訪問HDFS069
5.1命令行常用接口069
5.1.1HDFS操作體驗(yàn)069
5.1.2HDFS常用命令071
5.2Java接口073
5.2.1從Hadoop URL中讀取數(shù)據(jù)074
5.2.2通過FileSystem API讀取數(shù)據(jù)075
5.2.3寫入數(shù)據(jù)076
5.2.4創(chuàng)建目錄078
5.2.5查詢文件系統(tǒng)078
5.2.6刪除數(shù)據(jù)081
5.3其他常用接口081
5.3.1Thrift081
5.3.2C語言082
5.3.3HTTP082
本章小結(jié)082
習(xí)題083
第6章Hadoop I/O詳解084
6.1數(shù)據(jù)完整性084
6.1.1HDFS的數(shù)據(jù)完整性084
6.1.2驗(yàn)證數(shù)據(jù)完整性085
6.2文件壓縮086
6.2.1Hadoop支持的壓縮格式086
6.2.2壓縮解壓縮算法codec087
6.2.3壓縮和輸入分片091
6.3文件序列化092
6.3.1Writable接口093
6.3.2WritableComparable接口094
6.3.3Writable實(shí)現(xiàn)類095
6.3.4自定義Writable接口100
6.3.5序列化框架104
6.4Hadoop文件的數(shù)據(jù)結(jié)構(gòu)104
6.4.1SequenceFile存儲(chǔ)104
6.4.2MapFile存儲(chǔ)108
本章小結(jié)111
習(xí)題111第7章識(shí)識(shí)MapReduce編程模型113
7.1MapReduce編程模型簡介113
7.1.1什么是MapReduce113
7.1.2MapReduce程序的設(shè)計(jì)方法114
7.1.3新舊MapReduce簡介115
7.1.4Hadoop MapReduce架構(gòu)116
7.1.5MapReduce的優(yōu)缺點(diǎn)117
7.2WordCount編程實(shí)例118
7.2.1WordCount的設(shè)計(jì)思路118
7.2.2編寫WordCount代碼118
7.2.3運(yùn)行程序119
7.2.4代碼講解120
7.3MapReduce的編程122
7.3.1配置開發(fā)環(huán)境122
7.3.2編寫Mapper類124
7.3.3編寫Reducer類125
7.3.4編寫main函數(shù)125
7.4MapReduce在集群上的運(yùn)作127
7.4.1作業(yè)的打包和啟動(dòng)127
7.4.2MapReduce的Web界面128
7.4.3獲取結(jié)果130
本章小結(jié)131
習(xí)題131
第8章MapReduce應(yīng)用編程開發(fā)132
8.1MapReduce類型與格式132
8.1.1MapReduce的類型132
8.1.2輸入格式137
8.1.3輸出格式148
8.2Java API解析150
8.2.1作業(yè)配置與提交151
8.2.2InputFormat接口的設(shè)計(jì)與實(shí)現(xiàn)152
8.2.3OutputFormat接口的設(shè)計(jì)與實(shí)現(xiàn)157
8.2.4Mapper與Reducer解析159
本章小結(jié)163
習(xí)題163
第9MapReduce的工作機(jī)制與YARN平臺(tái)165
9.1YARN平臺(tái)簡介165
9.1.1YARN的誕生165
9.1.2YARN的作用166
9.2YARN的架構(gòu)166
9.2.1ResourceManager167
9.2.2ApplicationMaster168
9.2.3NodeManager168
9.2.4資源模型169
9.2.5ResourceRequest和Container169
9.2.6Container規(guī)范170
9.3剖析MapReduce作業(yè)運(yùn)行機(jī)制170
9.4基于YARN的運(yùn)行機(jī)制剖析171
9.5Shuffle和排序175
9.5.1map端175
9.5.2reduce端176
9.6任務(wù)的執(zhí)行178
9.6.1任務(wù)執(zhí)行環(huán)境178
9.6.2推測執(zhí)行179
9.6.3關(guān)于OutputCommitters180
9.6.4任務(wù)JVM重用181
9.6.5跳過壞記錄182
9.7作業(yè)的調(diào)度182
9.7.1公平調(diào)度器183
9.7.2容量調(diào)度器183
9.8在YARN上運(yùn)行MapReduce實(shí)例184
9.8.1運(yùn)行Pi實(shí)例184
9.8.2使用Web GUI監(jiān)控實(shí)例185
本章小結(jié)189
習(xí)題190
第10章MapReduce高級(jí)開發(fā)191
10.1計(jì)數(shù)器191
10.1.1內(nèi)置計(jì)數(shù)器191
10.1.2自定義的Java計(jì)數(shù)器193
10.2數(shù)據(jù)去重194
10.2.1實(shí)例描述194
10.2.2設(shè)計(jì)思路194
10.2.3程序代碼194
10.3排序195
10.3.1實(shí)例描述196
10.3.2設(shè)計(jì)思路196
10.3.3程序代碼196
10.4二次排序197
10.4.1二次排序原理197
10.4.2二次排序的算法流程198
10.4.3代碼實(shí)現(xiàn)199
10.5平均值202
10.5.1實(shí)例描述202
10.5.2設(shè)計(jì)思路202
10.5.3程序代碼203
10.6Join聯(lián)接204
10.6.1Map端Join204
10.6.2Reduce端Join205
10.6.3Join實(shí)現(xiàn)表關(guān)聯(lián)205
10.7倒排索引209
10.7.1倒排索引的分析和設(shè)計(jì)209
10.7.2倒排索引完整源碼213
10.7.3運(yùn)行代碼結(jié)果214
本章小結(jié)215
習(xí)題215
第11章MapReduce實(shí)例216
11.1搜索引擎日志處理216
11.1.1背景介紹216
11.1.2數(shù)據(jù)收集216
11.1.3數(shù)據(jù)結(jié)構(gòu)216
11.1.4需求分析217
11.1.5MapReduce編碼實(shí)現(xiàn)217
11.2汽車銷售數(shù)據(jù)分析223
11.2.1背景介紹224
11.2.2數(shù)據(jù)收集224
11.2.3數(shù)據(jù)結(jié)構(gòu) 224
11.2.4需求分析224
11.2.5MapReduce編碼實(shí)現(xiàn)225
11.3農(nóng)產(chǎn)品價(jià)格分析234
11.3.1背景介紹234
11.3.2數(shù)據(jù)收集235
11.3.3數(shù)據(jù)結(jié)構(gòu)235
11.3.4需求分析236
11.3.5MapReduce編碼實(shí)現(xiàn)236
參考文獻(xiàn)248