機器學習與大數(shù)據技術

第 1章 緒論 1
1．1 機器學習 3
1．1．1概述 3
1．1．2評價準則 4
1．1．3分類 6
1．1．4常用工具 7
1．2 大數(shù)據 9
1．3 人工智能 10
1．4 圖像處理技術 12
第 2章 機器學習理論與方法 13
2．1 回歸分析與最小二乘法 13
2．2聚類 15
2．2．1簡介 15
2．2．2基本原理 15
2．2．3常用聚類算法 17
2．3 遺傳算法 20
2．3．1簡介 20
2．3．2基本原理 21
2．3．3特點與應用 23
2．4 蟻群算法 23
2．4．1簡介 23
2．4．2基本原理 24
2．4．3特點與應用 26
2．5 粒子群算法 27
2．5．1簡介 27
2．5．2基本原理 27
2．5．3特點與應用 28
2．6 人工神經網絡 29
2．6．1簡介 29
2．6．2神經網絡基礎 31
2．6．3 BP神經網絡 37
2．6．4 RBF神經網絡 38
2．7支持向量機 40
2．7．1簡介 40
2．7．2基本原理 40
2．7．3特點與應用 46
2．8 隱馬爾科夫模型 46
第3章 深度學習理論與方法 50
3．1 簡介 50
3．2 常見模型 51
3．2．1卷積神經網絡 52
3．2．2受限玻爾茲曼機 54
3．2．3深度信念網絡 56
3．2．4自動編碼器 57
3．2．5降噪自動編碼器 59
3．2．6堆疊降噪自動編碼器 59
3．3 應用場景 60
3．4 發(fā)展趨勢 61
3．4．1深度集成學習 61
3．4．2深度強化學習 62
3．4．3深度遷移學習 63
第4章 大數(shù)據處理技術 65
4．1 大數(shù)據簡介 65
4．1．1大數(shù)據概念與特點 65
4．1．2大數(shù)據類型 66
4．1．3大數(shù)據應用 67
4．2 大數(shù)據技術 68
4．2．1數(shù)據獲取與預處理技術 68
4．2．2存儲與管理技術 71
4．2．3分析與挖掘技術 72
4．2．4可視化技術 74
4．3 大數(shù)據處理框架 79
4．3．1簡介 79
4．3．2 Hadoop 80
4．3．3 Spark 82
4．3．4 Storm 84
4．3．5 HBase 85
4．3．6 Hive 86
4．4 大數(shù)據面臨挑戰(zhàn) 86
4．4．1數(shù)據安全性 87
4．4．2計算復雜性 87
4．4．3計算時效性 87
第5章 大數(shù)據與智能系統(tǒng)開發(fā)——以農業(yè)應用為例 88
5．1 農業(yè)信息化概述 88
5．1．1農業(yè)信息概念 88
5．1．2農業(yè)信息分類 88
5．1．3農業(yè)信息技術 89
5．2 農業(yè)大數(shù)據概述 89
5．2．1農業(yè)大數(shù)據概念 89
5．2．2農業(yè)大數(shù)據特點 90
5．2．3農業(yè)大數(shù)據標準 90
5．2．4農業(yè)大數(shù)據發(fā)展趨勢 91
5．3 農業(yè)大數(shù)據技術 92
5．3．1獲取與預處理技術 92
5．3．2存儲與集成技術 95
5．3．3挖掘與可視化技術 95
5．3．4發(fā)展趨勢 96
5．4 農業(yè)大數(shù)據機遇、挑戰(zhàn)與對策 97
5．4．1機遇 97
5．4．2挑戰(zhàn)與對策 97
5．5 基于安卓的農業(yè)智能 99
5．5．1簡介 99
5．5．2APP開發(fā)步驟 100
5．5．3農業(yè)APP 101
第6章 圖像處理與分析技術 102
6．1 簡介 102
6．1．1常用術語 102
6．1．2圖像處理與分析基礎 106
6．2 圖像處理技術在農業(yè)中的應用 111
6．2．1農業(yè)圖像特點 111
6．2．2農業(yè)應用場景 111
6．3圖像細化算法 112
6．3．1細化算法原理 112
6．3．2改進算法 114
第7章 機器學習、大數(shù)據技術和圖像處理技術的應用——以農業(yè)應用為例 118
7．1 簡介 118
7．2 隨機森林在棉蚜等級預測中的應用 118
7．2．1隨機森林原理 118
7．2．2隨機森林構建 119
7．2．3袋外數(shù)據OOB和OOB估計 120
7．2．4實驗結果與分析 121
7． 3 基于鄰域核函數(shù)的局部支持向量機在樹木圖像分類中的應用 127
7．3．1鄰域核函數(shù) 128
7．3．2基于鄰域核函數(shù)的局部支持向量機 129
7．3．3實驗結果與分析 129
7．4 局部支持向量回歸在小麥蚜蟲預測中的應用 132
7．4．1小麥蚜蟲預測原理 132
7．4．2數(shù)據來源與預處理 132
7．4．3支持向量回歸與局部支持向量回歸 134
7．4．4實驗結果與分析 136
7．5 深度學習在小麥蚜蟲短期預測中的應用 138
7．5．1數(shù)據來源與預處理 138
7．5．2模型評價指標 139
7．5．3基于DBN_LSVR的小麥蚜蟲短期預測模型 140
7．5．4實驗結果與分析 141
7．6 基于Spark的支持向量機在小麥病害圖像識別中的應用 143
7．6．1數(shù)據來源與預處理 144
7．6．2 基于Spark的支持向量機 149
7．6．3實驗結果與分析 151
7．7 Hadoop平臺下基于粒子群的局部支持向量機 153
7．7．1相關技術及算法 154
7．7．2改進算法原理 155
7．7．3 MapRuduce實現(xiàn) 155
7．7．4改進思想 156
7．7．5實驗結果與分析 157
第8章 Python基礎 160
8．1 基礎知識 160
8．1．1Python安裝與使用 160
8．1．2編碼規(guī)范 160
8．1．3模塊導入 161
8．1．4異常處理 163
8．2 語言基礎 164
8．2．1基本數(shù)據類型 164
8．2．2運算符與表達式 166
8．2．3選擇與循環(huán) 172
8．2．4字符串 176
8．2．5列表、元組與字典 178
8．2．6正則表達式 187
8．3 函數(shù) 190
8．3．1函數(shù)定義 190
8．3．2 函數(shù)調用 191
8．3．3函數(shù)參數(shù) 192
8．3．4返回值 195
8．3．5變量作用域 196
8．4 類 197
8．4．1類定義 197
8．4．2類方法 198
8．4．3繼承與多態(tài) 199
8．4．4應用舉例 199
8．5 文件 206
8．5．1打開和關閉 206
8．5．2讀寫 207
8．5．3其他操作 208
8．5．4目錄操作 209
第9章 Python數(shù)據處理與機器學習 210
9．1 矩陣計算 210
9．1．1基礎知識 210
9．1．2應用舉例 218
9．2 網絡爬蟲 222
9．2．1基礎知識 222
9．2．2應用舉例 226
9．3 數(shù)據庫 226
9．3．1 Sqlite數(shù)據庫 226
9．3．2 MySQL數(shù)據庫 228
9．4 OpenCV圖像編程 230
9．4．1圖像基礎操作 230
9．4．2圖像幾何變換 231
9．4．3圖像濾波 233
9．4．4數(shù)學形態(tài)學 235
9．4．5應用舉例 236
9．5 數(shù)據可視化 237
9．5．1 matplotlib可視化 237
9．5．2 plotly可視化 238
9．6 基于Python機器學習算法 240
9．6．1線性回歸 240
9．6．2 Logistic回歸 242
9．6．3 K近鄰算法 245
9．6．4 K均值聚類 247
9．6．5決策樹 250
9．7 基于Python大數(shù)據處理技術 255
9．7．1 MapReduce編程 255
9．7．2 應用舉例 256
9．8 Tensorflow編程 256
9．8．1簡介 256
9．8．2基礎知識 258
9．8．3應用舉例 260
參考文獻 261