并行計算與實現技術

目錄
第1章并行計算基礎1
1.1什么是并行計算1
1.2為什么需要并行計算2
1.3并行計算機的發(fā)展4
1.4并行算法復雜性分析5
1.5并行計算的基本概念7
第2章基礎并行算法9
2.1并行算法設計基本原則9
2.2區(qū)域分解方法10
2.3功能分解方法11
2.4流水線技術12
2.5分而治之方法13
2.6同步并行算法14
2.7異步并行算法14
第3章經典算法的并行計算16
3.1矩陣乘并行計算方法16
3.1.1矩陣卷簾存儲方式16
3.1.2并行矩陣乘法17
3.2線性方程組并行求解方法21
3.2.1分布式系統(tǒng)的并行LU分解算法22
3.2.2三角方程組的并行解法23
3.3經典迭代算法的并行化25
3.3.1Jacobi迭代法25
3.3.2Gauss-Seidel迭代法26
3.4特征值問題并行計算方法27
3.4.1對稱三對角矩陣特征值問題27
3.4.2Householder變換28
3.4.3化對稱矩陣為三對角矩陣29
第4章消息傳遞編程接口MPI30
4.1并行環(huán)境函數30
4.2MPI進程控制函數32
4.2.1MPI進程組操作函數32
4.2.2MPI通信子操作36
4.3點到點通信函數39
4.3.1阻塞式通信函數39
4.3.2非阻塞式通信函數44
4.3.3特殊的點到點通信函數49
4.3.4MPI的通信模式50
4.4自定義數據類型51
4.4.1用戶定義的數據類型51
4.4.2MPI的數據打包與拆包59
4.5聚合通信函數62
4.5.1障礙同步62
4.5.2單點與多點通信函數62
4.5.3多點與多點通信函數66
4.6全局歸約操作函數70
第5章共享存儲并行編程OpenMP80
5.1OpenMP發(fā)展歷程80
5.2OpenMP執(zhí)行模型和存儲模型81
5.3OpenMP指導語句82
5.3.1parallel結構83
5.3.2工作共享結構85
5.3.3數據共享屬性子句98
5.3.4其他子句104
5.3.5Tasking結構107
5.3.6結構嵌套規(guī)則111
5.4OpenMP運行時函數庫111
5.4.1運行時函數定義111
5.4.2執(zhí)行環(huán)境函數111
5.4.3鎖函數116
5.4.4時間函數120
5.5OpenMP環(huán)境變量120
5.6OpenMP在MIC架構上的優(yōu)化技術122
5.6.1offload模式下將Host環(huán)境傳播至MIC(target)計算節(jié)點122
5.6.2offload模式提供了多種關鍵字來實現多功能的需求122
5.6.3查看編譯器對程序中OpenMP區(qū)域的優(yōu)化處理123
5.6.4OpenMP在Offload及Native模式下的不同缺省值123
5.6.5設置OpenMP的?？臻g大小124
5.6.6分配部分計算資源給運行的程序125
第6章GPU并行加速實現技術126
6.1GPU以及GPGPU發(fā)展簡介126
6.2CUDA并行編程模型129
6.2.1線程結構129
6.2.2線程調度132
6.3CUDA軟件體系134
6.3.1CUDA函數定義以及變量類型限定符134
6.3.2CUDA算數指令與數學函數136
6.3.3CUDA內置函數136
6.3.4CUDA軟件體系結構137
6.3.5CUDA程序的編譯139
6.4CUDA存儲器模型139
6.4.1寄存器141
6.4.2全局存儲器141
6.4.3本地存儲器145
6.4.4共享存儲器145
6.4.5常量存儲器147
6.4.6紋理存儲器147
6.5CUDA程序的優(yōu)化151
6.5.1處理器利用率優(yōu)化152
6.5.2指令吞吐量優(yōu)化154
6.5.3存儲器訪問優(yōu)化157
6.5.4矩陣乘法程序優(yōu)化示例163
6.5.5矩陣轉置程序優(yōu)化示例165
6.6MPI/CUDA混合編程170
6.6.1MPI/CUDA混合編程模型171
6.6.2GPU集群上的數據傳輸模型172
6.6.3MPI/CUDA混合編程以及編譯運行示例174
6.6.4MPI/OpenMP/CUDA混合編程177
6.6.5異構平臺數學庫MAGMA簡介184
參考文獻186
索引189
《信息與計算科學叢書》已出版書目191