PyTorch自動(dòng)駕駛視覺感知算法實(shí)戰(zhàn)

前言
第1章 卷積神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)
1.1神經(jīng)網(wǎng)絡(luò)回顧
1.1.1神經(jīng)網(wǎng)絡(luò)模型
1.1.2神經(jīng)網(wǎng)絡(luò)的訓(xùn)練——反向傳播算法
1.1.3神經(jīng)網(wǎng)絡(luò)的擬合能力和泛化能力
1.2什么是卷積神經(jīng)網(wǎng)絡(luò)
1.2.1什么是卷積運(yùn)算
1.2.2通道（Channel）和三維卷積
1.2.3為什么需要深度網(wǎng)絡(luò)
1.2.4什么是批次（Batch）
1.3卷積神經(jīng)網(wǎng)絡(luò)的組成細(xì)節(jié)
1.3.1卷積神經(jīng)網(wǎng)絡(luò)的輸入層
1.3.2神經(jīng)網(wǎng)絡(luò)的輸出層
1.3.3卷積層和轉(zhuǎn)置卷積層
1.3.4激活層
1.3.5歸一化層
1.3.6上采樣層和下采樣層
1.3.7池化層
1.3.8跳躍、空間注意力等特殊的連接方式
1.3.9構(gòu)建一個(gè)復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)
1.4卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練
1.4.1常用損失函數(shù)
1.4.2常用的正則化方法
1.4.3常用的優(yōu)化器
1.4.4常用的訓(xùn)練學(xué)習(xí)率調(diào)整方法
第2章 深度學(xué)習(xí)開發(fā)環(huán)境及常用工具庫(kù)
2.1硬件和操作系統(tǒng)
2.1.1顯卡
2.1.2操作系統(tǒng)
2.2Python開發(fā)環(huán)境管理
2.2.1Anaconda虛擬環(huán)境的管理
2.2.2Python的包管理器pip
2.3常用的Python包
2.3.1NumPy——Python科學(xué)計(jì)算庫(kù)
2.3.2OpenCV——Python圖像處理庫(kù)
2.4GPU加速的深度學(xué)習(xí)和科學(xué)計(jì)算庫(kù)PyTorch
2.4.1GPU加速的科學(xué)計(jì)算功能
2.4.2PyTorch的自動(dòng)求導(dǎo)功能
2.4.3PyTorch的優(yōu)化器
2.4.4PyTorch的數(shù)據(jù)加載
2.4.5用PyTorch搭建神經(jīng)網(wǎng)絡(luò)
2.4.6常用的輔助工具
2.4.7搭建一個(gè)神經(jīng)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練
第3章 神經(jīng)網(wǎng)絡(luò)的特征編碼器——主干網(wǎng)絡(luò)
3.1什么是神經(jīng)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)
3.1.1神經(jīng)網(wǎng)絡(luò)的元結(jié)構(gòu)
3.1.2神經(jīng)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)及有監(jiān)督預(yù)訓(xùn)練
3.1.3主干網(wǎng)絡(luò)的自監(jiān)督預(yù)訓(xùn)練
3.2流行的主干網(wǎng)絡(luò)
3.2.1簡(jiǎn)單直白的主干網(wǎng)絡(luò)——類VGG網(wǎng)絡(luò)
3.2.2最流行的主干網(wǎng)絡(luò)——ResNet系列網(wǎng)絡(luò)
3.2.3速度更快的輕量級(jí)主干網(wǎng)絡(luò)——MobileNet系列
3.2.4自由縮放的主干網(wǎng)絡(luò)——RegNet系列
3.3使用TorchVision模型庫(kù)提供的主干網(wǎng)絡(luò)
3.3.1構(gòu)建和加載模型
3.3.2修改主干網(wǎng)絡(luò)獲取多尺度特征圖
3.3.3不同主干網(wǎng)絡(luò)和預(yù)訓(xùn)練模型的訓(xùn)練對(duì)比
第4章 目標(biāo)檢測(cè)網(wǎng)絡(luò)——識(shí)別車輛
4.1目標(biāo)檢測(cè)基本概念
4.1.1Anchor
4.1.2NMS
4.1.3目標(biāo)檢測(cè)網(wǎng)絡(luò)的類別
4.2以Faster RCNN為代表的兩階段檢測(cè)方法
4.2.1RPN網(wǎng)絡(luò)
4.2.2ROI網(wǎng)絡(luò)
4.2.3使用TorchVision模型庫(kù)中的Faster RCNN
4.3以Yolo為代表的一階段檢測(cè)方法
4.3.1YoloV3的整體結(jié)構(gòu)
4.3.2Yolo的訓(xùn)練
4.3.3類Yolo的一階段檢測(cè)網(wǎng)絡(luò)
4.4以CenterNet為代表的Anchor-Free方法
4.4.1CenterNet的整體結(jié)構(gòu)
4.4.2用高斯模糊和Focal Loss訓(xùn)練CenterNet
4.4.3YoloX網(wǎng)絡(luò)
4.5Yolo的PyTorch實(shí)現(xiàn)
4.5.1樣本選擇算法的實(shí)現(xiàn)
4.5.2Yolo層的實(shí)現(xiàn)
4.5.3構(gòu)造損失函數(shù)
4.5.4NMS的實(shí)現(xiàn)
第5章 語義分割與實(shí)例分割——逐像素分類
5.1語義分割
5.1.1語義分割的網(wǎng)絡(luò)構(gòu)架和損失函數(shù)
5.1.2評(píng)價(jià)語義分割質(zhì)量的指標(biāo)
5.1.3使用OHEM和類別權(quán)重解決樣本不均衡問題
5.1.4語義分割的關(guān)鍵——信息融合
5.2使用PyTorch訓(xùn)練一個(gè)語義分割模型
5.2.1語義分割的數(shù)據(jù)加載
5.2.2加載Lite R-ASPP語義分割模型進(jìn)行訓(xùn)練
5.2.3計(jì)算混淆矩陣
5.2.4計(jì)算mIoU
5.3實(shí)例分割——分辨行人和車輛
5.3.1以Mask-RCNN為代表的兩階段實(shí)例分割方法
5.3.2以SOLO為代表的單階段實(shí)例分割方法
5.3.3基于CondInst的半監(jiān)督實(shí)例分割方法BoxInst
5.4安裝及使用OpenMMLab——以MMDetection為例
5.4.1安裝和配置MMDetection
5.4.2MMDetection介紹
5.4.3SOLO代碼解析
第6章 單目深度估計(jì)——重建三維世界
6.1計(jì)算機(jī)三維視覺基礎(chǔ)知識(shí)
6.1.1相機(jī)模型
6.1.2什么是深度圖
6.1.3相機(jī)運(yùn)動(dòng)模型
6.2單目深度估計(jì)的網(wǎng)絡(luò)構(gòu)架
6.2.1深度圖預(yù)測(cè)網(wǎng)絡(luò)
6.2.2基于相對(duì)視差的深度圖輸出編碼
6.2.3基于有序回歸的深度圖輸出編碼
6.2.4相機(jī)運(yùn)動(dòng)估計(jì)網(wǎng)絡(luò)
6.3無監(jiān)督學(xué)習(xí)的機(jī)制
6.3.1無監(jiān)督學(xué)習(xí)系統(tǒng)構(gòu)架
6.3.2將深度圖反投影為點(diǎn)云的PyTorch實(shí)現(xiàn)
6.3.3從相鄰幀采集RGB值并重投影的PyTorch實(shí)現(xiàn)
6.3.4無監(jiān)督單目深度推斷的損失函數(shù)
6.4可能存在的問題及解決方案
6.4.1用圖像梯度圖解決邊緣模糊問題
6.4.2用圖像一致性掩膜解決移動(dòng)物體問題
6.4.3用速度損失解決尺度問題
第7章 通過控制網(wǎng)絡(luò)結(jié)構(gòu)提高速度和精度
7.1使用多任務(wù)網(wǎng)絡(luò)構(gòu)架提高速度和精度
7.1.1多任務(wù)網(wǎng)絡(luò)的設(shè)計(jì)
7.1.2多任務(wù)網(wǎng)絡(luò)的任務(wù)平衡問題
7.2用PyTorch搭建一個(gè)語義分割和目標(biāo)檢測(cè)雙任務(wù)網(wǎng)絡(luò)
7.2.1多任務(wù)數(shù)據(jù)加載
7.2.2多任務(wù)網(wǎng)絡(luò)的搭建
7.2.3多任務(wù)損失的平衡
7.3壓縮神經(jīng)網(wǎng)絡(luò)提高推理速度
7.3.1什么是神經(jīng)網(wǎng)絡(luò)壓縮
7.3.2幾種常見的通道剪枝方法
7.3.3在訓(xùn)練中使用L1正則化壓縮權(quán)重
7.3.4使用可微通道加權(quán)進(jìn)行通道剪枝
7.3.5網(wǎng)絡(luò)壓縮的流程
7.4用PyTorch實(shí)現(xiàn)可微網(wǎng)絡(luò)壓縮
7.4.1用PyTorch構(gòu)造可微通道選擇層
7.4.2利用通道選擇層確定壓縮方案
7.4.3對(duì)PyTorch模型進(jìn)行壓縮并對(duì)比運(yùn)行速度
第8章 導(dǎo)出和部署神經(jīng)網(wǎng)絡(luò)模型
8.1配置開發(fā)環(huán)境
8.1.1Docker的使用
8.1.2配置C++開發(fā)環(huán)境
8.2使用LibTorch部署PyTorch模型
8.2.1導(dǎo)出TorchScript模型
8.2.2將LibTorch加入CMake項(xiàng)目
8.2.3將輸入圖像轉(zhuǎn)換為Tensor
8.2.4加載TorchScript模型并進(jìn)行推理
8.3用TensorRT部署模型