人工神經(jīng)網(wǎng)絡(luò)與模擬進化計算（清華大學(xué)信息科學(xué)技術(shù)學(xué)院教材）

第1章 緒論1
1.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用1
1.2 人工神經(jīng)元模型2
1.3 用有向圖表示神經(jīng)網(wǎng)絡(luò)4
1.4 網(wǎng)絡(luò)結(jié)構(gòu)及工作方式5
1.5 NN的學(xué)習(xí)7
1.5.1 學(xué)習(xí)方式7
1.5.2 學(xué)習(xí)算法7
1.5.3 學(xué)習(xí)與自適應(yīng)9
習(xí)題9
參考文獻10
第2章 前饋網(wǎng)絡(luò)11
2.1 線性閾值單元11
2.1.1 用線性閾值單元實現(xiàn)布爾函數(shù)11
2.1.2 線性可分性12
2.1.3 n維歐氏空間中m個點上可實現(xiàn)的線性可分函數(shù)的個數(shù)13
2.2 多層前饋網(wǎng)絡(luò)的計算能力及函數(shù)逼近15
2.3 感知器的學(xué)習(xí)算法17
2.4 反向傳播學(xué)習(xí)算法19
2.5 改進反向傳播算法收斂速度的措施26
2.5.1 加入動量項26
2.5.2 高階導(dǎo)數(shù)的利用27
2.5.3 共軛梯度法27
2.5.4 遞推最小二乘法28
2.5.5 神經(jīng)元空間搜索法28
2.5.6 一些其他措施30
2.6 多層前饋網(wǎng)絡(luò)作用的分析31
2.6.1 線性網(wǎng)絡(luò)32
2.6.2 非線性情況33
2.7 應(yīng)用舉例34
習(xí)題45
參考文獻48
第3章 徑向基函數(shù)網(wǎng)絡(luò)51
3.1 φ可分性51
3.2 函數(shù)逼近與內(nèi)插52
3.3 正規(guī)化理論53
3.4 RBF網(wǎng)絡(luò)的學(xué)習(xí)60
3.5 RBF網(wǎng)絡(luò)的一些變形63
3.6 CMAC網(wǎng)絡(luò)64
3.6.1 模型結(jié)構(gòu)64
3.6.2 工作原理分析66
3.6.3 學(xué)習(xí)算法69
3.7 概率神經(jīng)網(wǎng)絡(luò)70
3.8 小波網(wǎng)絡(luò)71
3.9 泛函連接網(wǎng)絡(luò)72
3.10 新一代神經(jīng)元模型及其計算能力的研究74
3.10.1 布爾函數(shù)的計算75
3.10.2 連續(xù)輸入的情況75
3.10.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)76
參考文獻81
第4章 學(xué)習(xí)理論與網(wǎng)絡(luò)結(jié)構(gòu)選擇86
4.1 經(jīng)驗風(fēng)險最小化與推廣能力88
4.1.1 經(jīng)驗風(fēng)險最小化原則89
4.1.2 推廣能力、模型復(fù)雜度和樣本量90
4.2 統(tǒng)計學(xué)習(xí)理論簡介92
4.2.1 學(xué)習(xí)過程一致性的條件93
4.2.2 統(tǒng)計學(xué)習(xí)理論發(fā)展中的三個重要結(jié)論96
4.2.3 推廣能力的界97
4.2.4 結(jié)構(gòu)風(fēng)險最小化102
4.3 學(xué)習(xí)的復(fù)雜性問題105
4.3.1 PAC學(xué)習(xí)模型105
4.3.2 PAC學(xué)習(xí)的例子106
4.3.3 PAC學(xué)習(xí)模型的一些擴展106
4.3.4 多層前饋網(wǎng)絡(luò)的樣本數(shù)問題107
4.3.5 學(xué)習(xí)的計算復(fù)雜性108
4.4 學(xué)習(xí)的動態(tài)特性109
4.4.1 通用學(xué)習(xí)方程109
4.4.2 LMS規(guī)則110
4.4.3 Hebb規(guī)則111
4.4.4 Oja學(xué)習(xí)規(guī)則111
4.5 推廣問題112
4.5.1 定性分析112
4.5.2 平均推廣能力113
4.5.3 樣本量問題115
4.5.4 推廣誤差的實驗估計116
4.6 預(yù)測學(xué)習(xí)117
4.6.1 模型117
4.6.2 根本困難118
4.6.3 維數(shù)災(zāi)難問題118
4.6.4 方差與偏置折衷118
4.7 學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)120
4.8 網(wǎng)絡(luò)模型選擇122
4.8.1 定性分析122
4.8.2 正規(guī)化方法123
4.8.3 修剪與網(wǎng)絡(luò)構(gòu)造法124
4.9 符號學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)結(jié)合131
習(xí)題133
參考文獻134
第5章 核方法與支持向量機140
5.1 現(xiàn)有方法概述141
5.1.1 基函數(shù)法142
5.1.2 核函數(shù)143
5.2 基函數(shù)法與核函數(shù)法的對偶關(guān)系144
5.3 自適應(yīng)方法147
5.4 核函數(shù)法147
5.5 表示定理151
5.6 最優(yōu)線性分界面152
5.7 支持向量機（SVM）155
5.7.1 基本原理155
5.7.2 SVM用于多類（C類）問題161
5.7.3 SVM用于回歸161
5.8 核PCA163
5.9 SVM的算法165
5.10 貝葉斯方法與高斯過程171
5.10.1 貝葉斯方法171
5.10.2 高斯過程173
5.10.3 稀疏表示175
5.11 討論177
參考文獻181
第6章 自組織系統(tǒng)(Ⅰ)——Hebb學(xué)習(xí)184
6.1 引言184
6.2 自組織特征檢測——一個簡單的實驗185
6.3 主成分分析186
6.4 單個神經(jīng)元抽取最大主分量189
6.5 單層網(wǎng)絡(luò)用于抽取一組主分量189
6.6 有側(cè)向連接的自適應(yīng)PCA191
6.7 最小均方誤差重建學(xué)習(xí)193
6.8 次分量的提取和應(yīng)用195
6.8.1 最優(yōu)擬合問題195
6.8.2 用單個神經(jīng)元實現(xiàn)197
6.9 PCA算法的進一步擴展200
6.9.1 非線性PCA200
6.9.2 主曲線與主曲面200
6.9.3 魯棒PCA算法202
6.9.4 偏最小二乘方法202
6.10 用于特征抽取的網(wǎng)絡(luò)203
6.10.1 正態(tài)分布的數(shù)據(jù)204
6.10.2 類內(nèi)、類間距離的計算205
6.10.3 Bhattacharya距離206
參考文獻207
第7章 自組織系統(tǒng)(Ⅱ)——競爭學(xué)習(xí)210
7.1 Hamming網(wǎng)絡(luò)與WTA網(wǎng)絡(luò)210
7.2 自組織特征映射212
7.3 等效的SOM算法215
7.4 向量量化220
7.5 廣義向量量化221
7.6 討論223
7.7 應(yīng)用舉例225
7.8 自適應(yīng)共振理論235
7.8.1 ART的基本原理236
7.8.2 ART作為分類器時的學(xué)習(xí)算法239
習(xí)題240
參考文獻241
第8章 自組織系統(tǒng)(Ⅲ)——基于信息論的模型245
8.1 信息論簡介245
8.2 最大信息保持原則247
8.2.1 單個神經(jīng)元受噪聲干擾247
8.2.2 輸入受加性噪聲干擾248
8.2.3 更復(fù)雜些的情況249
8.3 拓?fù)溆行蛴成涞漠a(chǎn)生251
8.4 基于最大熵原則的拓?fù)溆成?53
8.5 盲信號處理255
8.5.1 一些基本概念257
8.5.2 ICA的目標(biāo)函數(shù)261
8.5.3 盲信號處理的應(yīng)用267
8.5.4 非線性獨立成分分析（NLICA）270
參考文獻273
第9章 動態(tài)信號與系統(tǒng)的處理276
9.1 延時單元網(wǎng)絡(luò)276
9.2 時空神經(jīng)元模型280
9.2.1 模型280
9.2.2 FIR網(wǎng)絡(luò)的學(xué)習(xí)算法282
9.3 部分反饋網(wǎng)絡(luò)286
9.4 有反饋網(wǎng)絡(luò)的學(xué)習(xí)算法289
9.4.1 隨時間演化的反向傳播算法289
9.4.2 實時遞歸學(xué)習(xí)290
9.5 應(yīng)用舉例293
9.6 神經(jīng)網(wǎng)絡(luò)在金融領(lǐng)域中的應(yīng)用304
9.7 討論310
9.8 再勵學(xué)習(xí)及其主要算法314
9.8.1 時間差分法315
9.8.2 RL的主要算法317
9.9 再勵學(xué)習(xí)在控制中的應(yīng)用舉例319
習(xí)題327
參考文獻328
第10章 多神經(jīng)網(wǎng)絡(luò)集成335
10.1 引言335
10.2 群體平均法336
10.3 Boosting方法337
10.3.1 Boosting算法338
10.3.2 性能分析339
10.3.3 應(yīng)用實例——由基因表達譜對腫瘤分類340
10.4 混合專家網(wǎng)絡(luò)342
10.5 分層混合專家網(wǎng)絡(luò)344
10.5.1 工作原理345
10.5.2 EM算法概述347
10.5.3 EM算法用于HME349
10.5.4 IRLS算法350
10.5.5 EM算法的步驟352
10.6 應(yīng)用舉例353
參考文獻357
第11章 反饋網(wǎng)絡(luò)與聯(lián)想存儲器360
11.1 聯(lián)想存儲器360
11.2 反饋網(wǎng)絡(luò)361
11.2.1 離散Hopfield網(wǎng)絡(luò)362
11.2.2 連續(xù)Hopfield網(wǎng)絡(luò)366
11.3 用反饋網(wǎng)絡(luò)作聯(lián)想存儲器368
11.4 相關(guān)學(xué)習(xí)算法369
11.5 容量分析373
11.6 偽逆學(xué)習(xí)算法377
11.7 基于線性可分性的學(xué)習(xí)算法378
11.8 Li與Michel的設(shè)計方法（特征結(jié)構(gòu)法）379
11.9 線性規(guī)劃方法379
11.10 多余吸引子問題381
11.11 雙向聯(lián)想存儲器（BAM）382
11.11.1 能量函數(shù)與穩(wěn)定性384
11.11.2 BAM網(wǎng)絡(luò)的權(quán)值設(shè)計384
11.12 玻耳茲曼機386
11.12.1 隨機神經(jīng)元386
11.12.2 模擬退火算法387
11.12.3 玻耳茲曼機387
11.12.4 玻耳茲曼機的學(xué)習(xí)388
11.12.5 平均場學(xué)習(xí)規(guī)則392
習(xí)題394
參考文獻395
第12章 神經(jīng)網(wǎng)絡(luò)用于優(yōu)化計算398
12.1 概述398
12.2 連續(xù)Hopfield網(wǎng)絡(luò)用于求解優(yōu)化問題401
12.3 CHNN用于優(yōu)化計算時存在的問題403
12.4 神經(jīng)網(wǎng)絡(luò)用于求解貨流問題405
12.5 用于解數(shù)學(xué)規(guī)劃的電路舉例409
12.6 在通信網(wǎng)絡(luò)中的應(yīng)用舉例411
習(xí)題412
參考文獻413
第13章 神經(jīng)網(wǎng)絡(luò)中的動力學(xué)問題415
13.1 運動穩(wěn)定性的基本知識415
13.1.1 運動微分方程415
13.1.2 平衡狀態(tài)及其穩(wěn)定性416
13.1.3 定性方法與系統(tǒng)的分類418
13.1.4 Lyapunov定理421
13.1.5 吸引子422
13.2 反饋網(wǎng)絡(luò)的基本模型及其穩(wěn)定性424
13.2.1 基本模型424
13.2.2 穩(wěn)定性分析425
13.2.3 離散模型427
13.2.4 離散時間連續(xù)狀態(tài)模型427
13.3 混沌神經(jīng)網(wǎng)絡(luò)的初步介紹430
13.3.1 一個簡單的非線性映射430
13.3.2 混沌神經(jīng)元模型432
13.3.3 用混沌神經(jīng)網(wǎng)絡(luò)作聯(lián)想記憶434
參考文獻435
第14章 誤差函數(shù)與參數(shù)優(yōu)化方法437
14.1 誤差平方和438
14.1.1 網(wǎng)絡(luò)輸出的含義438
14.1.2 更一般的條件分布的建模440
14.2 后驗概率估計442
14.2.1 誤差平方和準(zhǔn)則443
14.2.2 隱單元的作用443
14.2.3 R范數(shù)誤差444
14.3 交叉熵445
14.3.1 兩類分類器445
14.3.2 交叉熵的性質(zhì)446
14.3.3 多類情況447
14.4 參數(shù)優(yōu)化算法448
14.4.1 誤差曲面448
14.4.2 對E的局部二次逼近449
14.4.3 優(yōu)化過程的一些實際問題450
14.5 梯度下降法451
14.5.1 收斂性的定性分析452
14.5.2 加速收斂的措施452
14.6 共軛梯度法454
14.7 牛頓法及其變形457
14.8 LevenbergMarquart算法458
14.9 信息幾何與自然梯度459
參考文獻459
第15章 貝葉斯方法461
15.1 網(wǎng)絡(luò)權(quán)值的貝葉斯學(xué)習(xí)462
15.1.1 權(quán)值的分布462
15.1.2 一類更廣的分布464
15.1.3 網(wǎng)絡(luò)輸出的分布465
15.1.4 超參數(shù)的處理466
15.2 貝葉斯模型選擇468
15.2.1 模型顯著度469
15.2.2 網(wǎng)絡(luò)組470
15.2.3 貝葉斯方法的實現(xiàn)471
15.2.4 最小描述長度471
15.3 在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用472
15.4 貝葉斯陰陽系統(tǒng)理論簡介474
15.5 討論475
參考文獻477
第16章 神經(jīng)網(wǎng)絡(luò)在信號處理中的應(yīng)用479
16.1 引言479
16.2 用泛函對物理系統(tǒng)建模479
16.2.1 算子與泛函480
16.2.2 Volterra級數(shù)481
16.3 Volterra級數(shù)與多層前饋網(wǎng)絡(luò)482
16.4 非線性ARMA模型與MFNN484
16.5 狀態(tài)空間表示與神經(jīng)網(wǎng)絡(luò)486
16.6 神經(jīng)網(wǎng)絡(luò)與馬爾可夫模型487
16.7 特征空間分解與神經(jīng)網(wǎng)絡(luò)489
16.7.1 信息判據(jù)用于主子空間分析489
16.7.2 非線性主元分析492
16.8 EM算法用于訓(xùn)練部分反饋網(wǎng)絡(luò)494
16.9 混沌時間序列的預(yù)測和混沌中信號的檢測497
16.9.1 混沌時間序列的預(yù)測497
16.9.2 混沌中信號的檢測——海洋雜亂回波中雷達信號的檢測501
16.10 神經(jīng)網(wǎng)絡(luò)用于信息的壓縮和編碼503
16.11 神經(jīng)網(wǎng)絡(luò)用于盲信號處理507
16.12 小波網(wǎng)絡(luò)與多分辨率學(xué)習(xí)512
16.12.1 引言512
16.12.2 小波基函數(shù)與函數(shù)的多分辨率分析512
16.12.3 多分辨率學(xué)習(xí)與小波網(wǎng)絡(luò)515
16.12.4 多尺度網(wǎng)絡(luò)用于時間序列預(yù)測520
參考文獻522
第17章 進化計算概論與進化策略526
17.1 進化計算概論526
17.2 二元進化策略528
17.2.1 基本算法528
17.2.2 變異過程530
17.2.3 步長選擇532
17.2.4 收斂準(zhǔn)則534
17.2.5 對于約束條件的處理535
17.3 多元進化策略535
17.3.1 基本算法536
17.3.2 (1，λ)前進速度分析537
17.3.3 步長控制543
17.3.4 μ≥1時的收斂準(zhǔn)則545
17.3.5 串行與并行546
參考文獻547
第18章 遺傳算法及其理論分析549
18.1 標(biāo)準(zhǔn)遺傳算法和基本概念549
18.2 模式定理552
18.3 基因塊假設(shè)556
18.4 欺騙性問題559
18.5 收斂性分析563
18.5.1 基本概念563
18.5.2 守恒交叉算子565
18.5.3 完全變異算子566
18.5.4 遺傳算法的馬爾可夫鏈分析567
參考文獻569
第19章 遺傳算法的設(shè)計與實現(xiàn)570
19.1 編碼方法570
19.1.1 編碼原則571
19.1.2 編碼方法573
19.2 適應(yīng)度函數(shù)577
19.2.1 目標(biāo)函數(shù)映射成適應(yīng)度函數(shù)577
19.2.2 適應(yīng)度函數(shù)調(diào)整578
19.2.3 適應(yīng)度函數(shù)的設(shè)計對遺傳算法的影響579
19.3 遺傳算子580
19.3.1 選擇算子580
19.3.2 交叉算子582
19.3.3 變異算子584
19.4 其他問題586
19.4.1 參數(shù)選擇586
19.4.2 其他操作587
參考文獻592
第20章 遺傳算法在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用593
20.1 連接權(quán)的進化方法593
20.2 網(wǎng)絡(luò)結(jié)構(gòu)的進化方法595
20.3 用遺傳算法解決XOR問題示例597
參考文獻599
第21章 遺傳算法在作業(yè)調(diào)度中的應(yīng)用600
21.1 問題描述600
21.2 解作業(yè)調(diào)度問題的遺傳算法602
21.3 仿真結(jié)果605
參考文獻609
第22章 分布估計算法610
22.1 離散的分布估計算法611
22.1.1 變量獨立假設(shè)下的算法611
22.1.2 雙變量概率依賴關(guān)系614
22.1.3 多變量概率依賴關(guān)系622
22.2 連續(xù)的分布估計算法626
22.2.1 變量獨立假設(shè)下的算法627
22.2.2 雙變量概率依賴關(guān)系628
22.2.3 多變量概率依賴關(guān)系629
22.3 討論630
參考文獻631
索引634