深度學(xué)習(xí)：原理與應(yīng)用實(shí)踐

深度學(xué)習(xí)基礎(chǔ)篇第1 章 緒論 21．1 引言 21．1．1 Google 的深度學(xué)習(xí)成果 21．1．2 Microsoft 的深度學(xué)習(xí)成果 31．1．3 國(guó)內(nèi)公司的深度學(xué)習(xí)成果 31．2 深度學(xué)習(xí)技術(shù)的發(fā)展歷程 41．3 深度學(xué)習(xí)的應(yīng)用領(lǐng)域 61．3．1 圖像識(shí)別領(lǐng)域 61．3．2 語音識(shí)別領(lǐng)域 61．3．3 自然語言理解領(lǐng)域 71．4 如何開展深度學(xué)習(xí)的研究和應(yīng)用開發(fā) 7本章參考文獻(xiàn) 11第2 章 國(guó)內(nèi)外深度學(xué)習(xí)技術(shù)研發(fā)現(xiàn)狀及其產(chǎn)業(yè)化趨勢(shì) 132．1 Google 在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 132．1．1 深度學(xué)習(xí)在Google 的應(yīng)用 132．1．2 Google 的TensorFlow 深度學(xué)習(xí)平臺(tái) 142．1．3 Google 的深度學(xué)習(xí)芯片TPU 152．2 Facebook 在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 152．2．1 Torchnet 152．2．2 DeepText 162．3 百度在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 172．3．1 光學(xué)字符識(shí)別 172．3．2 商品圖像搜索 172．3．3 在線廣告 182．3．4 以圖搜圖 182．3．5 語音識(shí)別 182．3．6 百度開源深度學(xué)習(xí)平臺(tái)MXNet 及其改進(jìn)的深度語音識(shí)別系統(tǒng)Warp-CTC 192．4 阿里巴巴在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 192．4．1 拍立淘 192．4．2 阿里小蜜――智能客服Messenger 202．5 京東在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 202．6 騰訊在深度學(xué)習(xí)領(lǐng)域的研發(fā)現(xiàn)狀 212．7 科創(chuàng)型公司（基于深度學(xué)習(xí)的人臉識(shí)別系統(tǒng)） 222．8 深度學(xué)習(xí)的硬件支撐――NVIDIA GPU 23本章參考文獻(xiàn) 24深度學(xué)習(xí)理論篇第3 章 神經(jīng)網(wǎng)絡(luò) 303．1 神經(jīng)元的概念 303．2 神經(jīng)網(wǎng)絡(luò) 313．2．1 后向傳播算法 323．2．2 后向傳播算法推導(dǎo) 333．3 神經(jīng)網(wǎng)絡(luò)算法示例 36本章參考文獻(xiàn) 38第4 章 卷積神經(jīng)網(wǎng)絡(luò) 394．1 卷積神經(jīng)網(wǎng)絡(luò)特性 394．1．1 局部連接 404．1．2 權(quán)值共享 414．1．3 空間相關(guān)下采樣 424．2 卷積神經(jīng)網(wǎng)絡(luò)操作 424．2．1 卷積操作 424．2．2 下采樣操作 444．3 卷積神經(jīng)網(wǎng)絡(luò)示例：LeNet-5 45本章參考文獻(xiàn) 48深度學(xué)習(xí)工具篇第5 章 深度學(xué)習(xí)工具Caffe 505．1 Caffe 的安裝 505．1．1 安裝依賴包 515．1．2 CUDA 安裝 515．1．3 MATLAB 和Python 安裝 545．1．4 OpenCV 安裝（可選） 595．1．5 Intel MKL 或者BLAS 安裝 595．1．6 Caffe 編譯和測(cè)試 595．1．7 Caffe 安裝問題分析 625．2 Caffe 框架與源代碼解析 635．2．1 數(shù)據(jù)層解析 635．2．2 網(wǎng)絡(luò)層解析 745．2．3 網(wǎng)絡(luò)結(jié)構(gòu)解析 925．2．4 網(wǎng)絡(luò)求解解析 104本章參考文獻(xiàn) 109第6 章 深度學(xué)習(xí)工具Pylearn2 1106．1 Pylearn2 的安裝 1106．1．1 相關(guān)依賴安裝 1106．1．2 安裝Pylearn2 1126．2 Pylearn2 的使用 112本章參考文獻(xiàn) 116深度學(xué)習(xí)實(shí)踐篇（入門與進(jìn)階）第7 章 基于深度學(xué)習(xí)的手寫數(shù)字識(shí)別 1187．1 數(shù)據(jù)介紹 1187．1．1 MNIST 數(shù)據(jù)集 1187．1．2 提取MNIST 數(shù)據(jù)集圖片 1207．2 手寫字體識(shí)別流程 1217．2．1 模型介紹 1217．2．2 操作流程 1267．3 實(shí)驗(yàn)結(jié)果分析 127本章參考文獻(xiàn) 128第8 章 基于深度學(xué)習(xí)的圖像識(shí)別 1298．1 數(shù)據(jù)來源 1298．1．1 Cifar10 數(shù)據(jù)集介紹 1298．1．2 Cifar10 數(shù)據(jù)集格式 1298．2 Cifar10 識(shí)別流程 1308．2．1 模型介紹 1308．2．2 操作流程 1368．3 實(shí)驗(yàn)結(jié)果分析 139本章參考文獻(xiàn) 140第9 章 基于深度學(xué)習(xí)的物體圖像識(shí)別 1419．1 數(shù)據(jù)來源 1419．1．1 Caltech101 數(shù)據(jù)集 1419．1．2 Caltech101 數(shù)據(jù)集處理 1429．2 物體圖像識(shí)別流程 1439．2．1 模型介紹 1439．2．2 操作流程 1449．3 實(shí)驗(yàn)結(jié)果分析 150本章參考文獻(xiàn) 151第10 章 基于深度學(xué)習(xí)的人臉識(shí)別 15210．1 數(shù)據(jù)來源 15210．1．1 AT＆T Facedatabase 數(shù)據(jù)庫 15210．1．2 數(shù)據(jù)庫處理 15210．2 人臉識(shí)別流程 15410．2．1 模型介紹 15410．2．2 操作流程 15510．3 實(shí)驗(yàn)結(jié)果分析 159本章參考文獻(xiàn) 160深度學(xué)習(xí)實(shí)踐篇（高級(jí)應(yīng)用）第11 章 基于深度學(xué)習(xí)的人臉識(shí)別――DeepID 算法 16211．1 問題定義與數(shù)據(jù)來源 16211．2 算法原理 16311．2．1 數(shù)據(jù)預(yù)處理 16311．2．2 模型訓(xùn)練策略 16411．2．3 算法驗(yàn)證和結(jié)果評(píng)估 16411．3 人臉識(shí)別步驟 16511．3．1 數(shù)據(jù)預(yù)處理 16511．3．2 深度網(wǎng)絡(luò)結(jié)構(gòu)模型 16811．3．3 提取深度特征與人臉驗(yàn)證 17111．4 實(shí)驗(yàn)結(jié)果分析 17411．4．1 實(shí)驗(yàn)數(shù)據(jù) 17411．4．2 實(shí)驗(yàn)結(jié)果分析 175本章參考文獻(xiàn) 176第12 章 基于深度學(xué)習(xí)的表情識(shí)別 17712．1 表情數(shù)據(jù) 17712．1．1 Cohn-Kanade（CK+）數(shù)據(jù)庫 17712．1．2 JAFFE 數(shù)據(jù)庫 17812．2 算法原理 17912．3 表情識(shí)別步驟 18012．3．1 數(shù)據(jù)預(yù)處理 18012．3．2 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型 18112．3．3 提取深度特征及分類 18212．4 實(shí)驗(yàn)結(jié)果分析 18412．4．1 實(shí)現(xiàn)細(xì)節(jié) 18412．4．2 實(shí)驗(yàn)結(jié)果對(duì)比 185本章參考文獻(xiàn) 188第13 章 基于深度學(xué)習(xí)的年齡估計(jì) 19013．1 問題定義 19013．2 年齡估計(jì)算法 19013．2．1 數(shù)據(jù)預(yù)處理 19013．2．2 提取深度特征 19213．2．3 提取LBP 特征 19613．2．4 訓(xùn)練回歸模型 19613．3 實(shí)驗(yàn)結(jié)果分析 199本章參考文獻(xiàn) 199第14 章 基于深度學(xué)習(xí)的人臉關(guān)鍵點(diǎn)檢測(cè) 20014．1 問題定義和數(shù)據(jù)來源 20014．2 基于深度學(xué)習(xí)的人臉關(guān)鍵點(diǎn)檢測(cè)的步驟 20114．2．1 數(shù)據(jù)預(yù)處理 20114．2．2 訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)模型 20614．2．3 預(yù)測(cè)和處理關(guān)鍵點(diǎn)坐標(biāo) 207本章參考文獻(xiàn) 212深度學(xué)習(xí)總結(jié)與展望篇第15 章 總結(jié)與展望 21415．1 深度學(xué)習(xí)領(lǐng)域當(dāng)前的主流技術(shù)及其應(yīng)用領(lǐng)域 21415．1．1 圖像識(shí)別 21415．1．2 語音識(shí)別與自然語言理解 21515．2 深度學(xué)習(xí)的缺陷 21515．2．1 深度學(xué)習(xí)在硬件方面的門檻較高 21515．2．2 深度學(xué)習(xí)在軟件安裝與配置方面的門檻較高 21615．2．3 深度學(xué)習(xí)最重要的問題在于需要海量的有標(biāo)注的數(shù)據(jù)作為支撐 21615．2．4 深度學(xué)習(xí)的最后階段竟然變成枯燥、機(jī)械、及其耗時(shí)的調(diào)參工作 21715．2．5 深度學(xué)習(xí)不適用于數(shù)據(jù)量較小的數(shù)據(jù) 21815．2．6 深度學(xué)習(xí)目前主要用于圖像、聲音的識(shí)別和自然語言的理解 21815．2．7 研究人員從事深度學(xué)習(xí)研究的困境 21915．3 展望 220本章參考文獻(xiàn) 220