機(jī)器學(xué)習(xí)與深度學(xué)習(xí)

第1章 引言 1
1.1 人工智能概述 1
1.1.1 人工智能產(chǎn)生的基礎(chǔ)條件 1
1.1.2 人工智能的發(fā)展史 2
1.1.3 人工智能的幾個(gè)重要分支 3
1.1.4 人工智能與機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系 4
1.2 機(jī)器學(xué)習(xí)概述 5
1.2.1 機(jī)器學(xué)習(xí)的定義 5
1.2.2 機(jī)器學(xué)習(xí)的主要方法 5
1.2.3 機(jī)器學(xué)習(xí)的應(yīng)用及其相關(guān)課程介紹 11
1.3 深度學(xué)習(xí)概述 12
1.3.1 深度學(xué)習(xí)產(chǎn)生的背景 12
1.3.2 深度學(xué)習(xí)的幾種常用模型 13
1.3.3 深度學(xué)習(xí)的應(yīng)用場合 16
1.3.4 深度學(xué)習(xí)開源工具 18
習(xí)題 19
參考文獻(xiàn) 19
第2章 簡單模型 21
2.1 KNN算法 21
2.1.1 算法原理 21
2.1.2 算法步驟 22
2.1.3 算法描述 22
2.1.4 算法評(píng)價(jià) 23
2.1.5 算法實(shí)例 23
2.2 線性回歸 24
2.2.1 算法原理 25
2.2.2 模型求解 26
2.2.3 算法步驟 29
2.2.4 算法描述 29
2.2.5 算法評(píng)價(jià) 30
2.2.6 算法實(shí)例 30
2.3 邏輯回歸 32
2.3.1 算法原理 32
2.3.2 模型求解 33
2.3.3 算法步驟 34
2.3.4 算法描述 34
2.3.5 算法評(píng)價(jià) 35
2.4 實(shí)驗(yàn)：邏輯回歸算法 35
2.4.1 實(shí)驗(yàn)?zāi)康?35
2.4.2 實(shí)驗(yàn)要求 35
2.4.3 實(shí)驗(yàn)原理 35
2.4.4 實(shí)驗(yàn)步驟 36
2.4.5 實(shí)驗(yàn)結(jié)果 38
2.4.6 結(jié)果分析 39
習(xí)題 39
參考文獻(xiàn) 40
第3章 貝葉斯學(xué)習(xí) 42
3.1 貝葉斯方法簡述 42
3.2 貝葉斯基礎(chǔ)理論 43
3.2.1 概率基礎(chǔ) 43
3.2.2 貝葉斯方法 44
3.3 樸素貝葉斯 46
3.3.1 樸素貝葉斯法介紹 46
3.3.2 樸素貝葉斯法實(shí)例 47
3.3.3 樸素貝葉斯法優(yōu)缺點(diǎn) 51
3.4 貝葉斯網(wǎng)絡(luò) 51
3.4.1 貝葉斯網(wǎng)絡(luò)介紹 51
3.4.2 貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn) 52
3.4.3 貝葉斯網(wǎng)絡(luò)特性及應(yīng)用 54
3.5 實(shí)驗(yàn) 54
3.5.1 實(shí)驗(yàn)?zāi)康?55
3.5.2 實(shí)驗(yàn)要求 55
3.5.3 實(shí)驗(yàn)原理 55
3.5.4 實(shí)驗(yàn)步驟 56
3.5.5 實(shí)驗(yàn)結(jié)果 57
習(xí)題 59
參考文獻(xiàn) 60
第4章 決策樹 62
4.1 決策樹簡述 62
4.1.1 樹形結(jié)構(gòu) 63
4.1.2 樹的構(gòu)建 63
4.2 劃分屬性選擇 64
4.2.1 信息增益 64
4.2.2 增益率 66
4.2.3 基尼指數(shù) 67
4.3 剪枝處理 68
4.3.1 損失函數(shù) 69
4.3.2 先剪枝 70
4.3.3 后剪枝 70
4.4 決策樹算法 72
4.4.1 ID3算法 73
4.4.2 C4.5算法 75
4.4.3 CART算法 77
4.5 實(shí)驗(yàn)：基于CART算法的鳶尾花決策樹構(gòu)建 78
4.5.1 實(shí)驗(yàn)?zāi)康?78
4.5.2 實(shí)驗(yàn)要求 78
4.5.3 實(shí)驗(yàn)原理 79
4.5.4 實(shí)驗(yàn)步驟 81
4.5.5 實(shí)驗(yàn)結(jié)果 82
習(xí)題 83
參考文獻(xiàn) 83
第5章 支持向量機(jī) 84
5.1 最大間隔理論簡介 84
5.2 兩類問題的線性分類 85
5.2.1 線性可分的情況 85
5.2.2 最大間隔與支持向量 86
5.2.3 最大間隔的相關(guān)理論 87
5.2.4 線性不可分的情況 89
5.2.5 小結(jié) 91
5.3 非線性空間映射與核函數(shù) 91
5.3.1 非線性空間映射的概念和原理 91
5.3.2 核函數(shù)的選擇與分析 92
5.3.3 核函數(shù)的選擇依據(jù) 95
5.3.4 小結(jié) 95
5.4 多類問題的分類 95
5.4.1 一對(duì)一法 96
5.4.2 一對(duì)多法 96
5.4.3 其他方法 97
5.4.4 小結(jié) 98
5.5 實(shí)驗(yàn) 98
5.5.1 實(shí)驗(yàn)1：兩類問題的線性可分問題 98
5.5.2 實(shí)驗(yàn)2：兩類問題的非線性分類問題 100
5.5.3 實(shí)驗(yàn)3：UCI數(shù)據(jù)集中wine.data的多類分類問題 103
5.5.4 實(shí)驗(yàn)4：USPS手寫阿拉伯?dāng)?shù)據(jù)庫的識(shí)別 106
習(xí)題 108
參考文獻(xiàn) 109
第6章 集成學(xué)習(xí) 111
6.1 集成學(xué)習(xí)簡述 111
6.2 個(gè)體學(xué)習(xí)器與集成學(xué)習(xí)算法 112
6.2.1 個(gè)體學(xué)習(xí)器 113
6.2.2 集成學(xué)習(xí)算法 113
6.3 Bagging算法和隨機(jī)森林算法 113
6.3.1 Bagging算法 113
6.3.2 隨機(jī)森林 114
6.4 Boosting算法和AdaBoost算法 115
6.4.1 Boosting算法 115
6.4.2 AdaBoost算法 116
6.5 結(jié)合策略 123
6.5.1 平均法 123
6.5.2 投票法 123
6.5.3 學(xué)習(xí)法 124
6.6 實(shí)驗(yàn)：集成學(xué)習(xí)實(shí)例 126
6.6.1 一個(gè)簡單的基于AdaBoost算法的二分類實(shí)現(xiàn) 126
6.6.2 基于決策樹、Bagging和AdaBoost模型的糖尿病預(yù)測實(shí)驗(yàn) 129
習(xí)題 133
參考文獻(xiàn) 133
第7章 聚類 136
7.1 聚類簡述 136
7.1.1 基本概念 136
7.1.2 聚類類型 137
7.1.3 算法挑戰(zhàn) 138
7.2 原型聚類 139
7.2.1 k均值聚類 139
7.2.2 k中心點(diǎn)聚類 141
7.3 密度聚類 144
7.3.1 基本術(shù)語 144
7.3.2 算法描述 146
7.4 層次聚類 147
7.4.1 層次聚類概述 149
7.4.2 BIRCH算法 151
7.4.3 CURE算法 155
7.5 實(shí)驗(yàn)：用k均值聚類實(shí)現(xiàn)籃球運(yùn)動(dòng)員聚類 158
7.5.1 實(shí)驗(yàn)?zāi)康?158
7.5.2 實(shí)驗(yàn)原理 158
7.5.3 實(shí)驗(yàn)步驟 159
7.5.4 實(shí)驗(yàn)結(jié)果及分析 160
習(xí)題 161
參考文獻(xiàn) 161
第8章 感知機(jī)與神經(jīng)網(wǎng)絡(luò) 162
8.1 感知機(jī) 162
8.1.1 神經(jīng)元模型 162
8.1.2 激活函數(shù) 163
8.1.3 感知機(jī)算法 165
8.2 神經(jīng)網(wǎng)絡(luò)原理 167
8.2.1 基本特征 167
8.2.2 前饋神經(jīng)網(wǎng)絡(luò) 168
8.3 反向傳播神經(jīng)網(wǎng)絡(luò) 169
8.4 Hopfield神經(jīng)網(wǎng)絡(luò) 171
8.4.1 Hopfield神經(jīng)網(wǎng)絡(luò)簡介 171
8.4.2 離散Hopfield神經(jīng)網(wǎng)絡(luò) 172
8.4.3 能量函數(shù) 173
8.5 實(shí)驗(yàn)：基于Python的感知機(jī)實(shí)驗(yàn) 173
8.5.1 實(shí)驗(yàn)?zāi)康?173
8.5.2 實(shí)驗(yàn)要求 174
8.5.3 實(shí)驗(yàn)原理 174
8.5.4 實(shí)驗(yàn)步驟 174
8.5.5 實(shí)驗(yàn)結(jié)果 175
習(xí)題 175
參考文獻(xiàn) 175
第9章 卷積神經(jīng)網(wǎng)絡(luò) 177
9.1 卷積神經(jīng)網(wǎng)絡(luò)簡述 177
9.1.1 發(fā)展歷程 177
9.1.2 端到端的學(xué)習(xí) 178
9.2 網(wǎng)絡(luò)部件 179
9.2.1 符號(hào)定義 179
9.2.2 卷積層 179
9.2.3 池化層 182
9.2.4 激活函數(shù)層 183
9.2.5 全連接層 184
9.2.6 目標(biāo)函數(shù) 184
9.3 核心算法 186
9.3.1 隨機(jī)梯度下降法 186
9.3.2 反向傳播算法 190
9.4 激活函數(shù)和損失函數(shù) 195
9.4.1 激活函數(shù) 195
9.4.2 損失函數(shù) 196
9.5 經(jīng)典CNN模型 198
9.5.1 LeNet 198
9.5.2 AlexNet 199
9.5.3 VGGNet 201
9.6 實(shí)驗(yàn)：應(yīng)用CNN模型進(jìn)行手寫數(shù)字辨識(shí) 202
9.6.1 實(shí)驗(yàn)?zāi)康?202
9.6.2 實(shí)驗(yàn)要求 203
9.6.3 實(shí)驗(yàn)原理 203
9.6.4 實(shí)驗(yàn)步驟 205
9.6.5 實(shí)驗(yàn)結(jié)果 206
習(xí)題 206
參考文獻(xiàn) 208
第10章 循環(huán)神經(jīng)網(wǎng)絡(luò) 209
10.1 RNN簡介 209
10.1.1 RNN概述 209
10.1.2 RNN的工作原理 209
10.2 雙向RNN 210
10.3 LSTM 211
10.3.1 LSTM遺忘門 212
10.3.2 LSTM輸入門 213
10.3.3 LSTM輸出門 214
10.3.4 前向傳播的代碼實(shí)現(xiàn) 214
10.3.5 反向傳播的代碼實(shí)現(xiàn) 215
10.4 GRU 216
10.5 RNN的實(shí)現(xiàn) 217
10.5.1 定義初始化類和初始化函數(shù) 217
10.5.2 定義激活函數(shù) 217
10.5.3 定義前向傳播和反向傳播 217
10.5.4 計(jì)算delta值和總的delat值 218
10.5.5 計(jì)算各個(gè)梯度的值和總梯度 218
10.5.6 定義梯度檢查函數(shù) 219
10.5.7 構(gòu)建測試函數(shù)并運(yùn)行 219
10.6 實(shí)驗(yàn)：應(yīng)用LSTM模型進(jìn)行手寫數(shù)字辨識(shí) 220
10.6.1 實(shí)驗(yàn)?zāi)康?220
10.6.2 實(shí)驗(yàn)要求 220
10.6.3 實(shí)驗(yàn)原理 220
10.6.4 實(shí)驗(yàn)步驟 220
10.6.5 實(shí)驗(yàn)結(jié)果 222
習(xí)題 223
參考文獻(xiàn) 223
第11章 生成對(duì)抗網(wǎng)絡(luò) 225
11.1 生成對(duì)抗網(wǎng)絡(luò)簡述 225
11.1.1 博弈 225
11.1.2 對(duì)抗 226
11.1.3 分類問題 226
11.2 生成對(duì)抗網(wǎng)絡(luò)的基本原理、學(xué)習(xí)機(jī)制、應(yīng)用、特點(diǎn) 227
11.2.1 生成對(duì)抗網(wǎng)絡(luò)的基本原理 227
11.2.2 生成對(duì)抗網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制 227
11.2.3 生成對(duì)抗網(wǎng)絡(luò)的應(yīng)用 228
11.2.4 生成對(duì)抗網(wǎng)絡(luò)的特點(diǎn) 229
11.3 生成對(duì)抗網(wǎng)絡(luò)的變種網(wǎng)絡(luò) 230
11.3.1 JointGAN 230
11.3.2 MD-GAN 230
11.3.3 MsCGAN 230
11.3.4 TGAN 231
11.3.5 HexaGAN 231
11.4 實(shí)驗(yàn) 231
11.4.1 基于SRGAN模型的人臉超分辨率實(shí)驗(yàn) 231
11.4.2 基于SRGAN的圖像轉(zhuǎn)換實(shí)驗(yàn) 237
習(xí)題 246
參考文獻(xiàn) 246
第12章 強(qiáng)化學(xué)習(xí) 250
12.1 強(qiáng)化學(xué)習(xí)的引入 250
12.1.1 強(qiáng)化學(xué)習(xí)的概念 250
12.1.2 強(qiáng)化學(xué)習(xí)的特點(diǎn) 251
12.1.3 強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí) 252
12.2 馬爾可夫決策過程 253
12.2.1 策略與環(huán)境模型 253
12.2.2 值函數(shù)與Bellman公式 253
12.3 有模型學(xué)習(xí)——?jiǎng)討B(tài)規(guī)劃 255
12.3.1 策略迭代 256
12.3.2 值迭代 258
12.3.3 廣義策略迭代 260
12.4 免模型學(xué)習(xí)——蒙特卡羅方法 260
12.4.1 蒙特卡羅方法 260
12.4.2 時(shí)序差分方法與SARSA算法 261
12.4.3 Q-Learning算法 263
12.4.4 DQN 264
12.5 實(shí)驗(yàn) 266
12.5.1 實(shí)驗(yàn)一：方塊走迷宮 266
12.5.2 實(shí)驗(yàn)二：利用DQN實(shí)現(xiàn)“打磚塊”游戲 271
習(xí)題 277
參考文獻(xiàn) 278