自然語(yǔ)言處理：基于大語(yǔ)言模型的方法

定　價(jià)：￥158.00

作　者：	車萬(wàn)翔
出版社：	電子工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購(gòu)買這本書可以去

當(dāng)當(dāng)網(wǎng) (￥158.00)

ISBN：	9787121495984	出版時(shí)間：	2025-03-01	包裝：	平塑勒
開(kāi)本：	16開(kāi)	頁(yè)數(shù)：		字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　自然語(yǔ)言處理被譽(yù)為“人工智能皇冠上的明珠”。深度學(xué)習(xí)等技術(shù)的引入為自然語(yǔ)言處理技術(shù)帶來(lái)了一場(chǎng)革命，尤其是近年來(lái)出現(xiàn)的基于大語(yǔ)言模型的方法，已成為研究自然語(yǔ)言處理的新范式。本書在介紹自然語(yǔ)言處理、深度學(xué)習(xí)等基本概念的基礎(chǔ)上，重點(diǎn)介紹新的基于預(yù)訓(xùn)練語(yǔ)言模型和大語(yǔ)言模型的自然語(yǔ)言處理技術(shù)。本書包括基礎(chǔ)知識(shí)、預(yù)訓(xùn)練語(yǔ)言模型和大語(yǔ)言模型三部分：基礎(chǔ)知識(shí)部分主要介紹自然語(yǔ)言處理和深度學(xué)習(xí)的基礎(chǔ)知識(shí)、基本工具集和常用數(shù)據(jù)集；預(yù)訓(xùn)練語(yǔ)言模型部分主要介紹語(yǔ)言模型、預(yù)訓(xùn)練詞向量、預(yù)訓(xùn)練語(yǔ)言模型的實(shí)現(xiàn)方法和應(yīng)用；大語(yǔ)言模型部分首先介紹大語(yǔ)言模型的預(yù)訓(xùn)練方法，其次介紹大語(yǔ)言模型的適配、應(yīng)用和評(píng)估方法，接著介紹基于預(yù)訓(xùn)練語(yǔ)言模型思想的各種延伸技術(shù)，最后以DeepSeek 系列模型為例，介紹大語(yǔ)言模型的最新技術(shù)進(jìn)展。除了理論知識(shí)，本書還有針對(duì)性地結(jié)合具體案例提供相應(yīng)的PyTorch 代碼實(shí)現(xiàn)，讓讀者不僅能對(duì)理論有更深刻的理解，還能快速地實(shí)現(xiàn)自然語(yǔ)言處理模型，達(dá)到理論和實(shí)踐的統(tǒng)一。本書既適合具有一定機(jī)器學(xué)習(xí)基礎(chǔ)的高等院校學(xué)生、研究機(jī)構(gòu)的研究者，以及希望深入研究自然語(yǔ)言處理算法的計(jì)算機(jī)工程師閱讀，也適合對(duì)人工智能、深度學(xué)習(xí)、大語(yǔ)言模型和自然語(yǔ)言處理感興趣的學(xué)生和希望進(jìn)入人工智能應(yīng)用領(lǐng)域的研究者參考。

作者簡(jiǎn)介

　　車萬(wàn)翔哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部長(zhǎng)聘教授/博士生導(dǎo)師，人工智能研究院副院長(zhǎng)，國(guó)家級(jí)青年人才，龍江學(xué)者“青年學(xué)者”，斯坦福大學(xué)訪問(wèn)學(xué)者。現(xiàn)任中國(guó)中文信息學(xué)會(huì)理事、計(jì)算語(yǔ)言學(xué)專業(yè)委員會(huì)副主任兼秘書長(zhǎng)；國(guó)際計(jì)算語(yǔ)言學(xué)學(xué)會(huì)亞太分會(huì)（AACL）執(zhí)委兼秘書長(zhǎng)；國(guó)際頂級(jí)會(huì)議ACL 2025程序委員會(huì)共同主席。承擔(dān)國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目和專項(xiàng)項(xiàng)目、2030“新一代人工智能”重大項(xiàng)目課題等多項(xiàng)科研項(xiàng)目。曾獲AAAI 2013最佳論文提名獎(jiǎng)、黑龍江省科技進(jìn)步一等獎(jiǎng)、黑龍江省青年科技獎(jiǎng)等獎(jiǎng)勵(lì)。郭江博士，現(xiàn)從事大模型、檢索增強(qiáng)生成技術(shù)及企業(yè)數(shù)據(jù)智能等領(lǐng)域的研究，專注于相關(guān)技術(shù)在云服務(wù)中的應(yīng)用與開(kāi)發(fā)。曾任麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）博士后研究員，博士畢業(yè)于哈爾濱工業(yè)大學(xué)，并于約翰斯·霍普金斯大學(xué)聯(lián)合培養(yǎng)。在人工智能與自然語(yǔ)言處理領(lǐng)域發(fā)表學(xué)術(shù)論文30余篇，累計(jì)被引用2400余次（據(jù)Google Scholar統(tǒng)計(jì)），并出版學(xué)術(shù)專著與譯著各一部。曾獲百度獎(jiǎng)學(xué)金（全球每年僅授予10人）及中文信息學(xué)會(huì)“優(yōu)秀博士學(xué)位論文”提名獎(jiǎng)（2018年）。多次受邀擔(dān)任國(guó)際頂級(jí)學(xué)術(shù)會(huì)議高級(jí)程序委員會(huì)委員和領(lǐng)域主席。崔一鳴博士，高級(jí)工程師，現(xiàn)任科大訊飛研究院資深科學(xué)家、科大訊飛北京研究院副院長(zhǎng)，IEEE高級(jí)會(huì)員、CCF高級(jí)會(huì)員。博士畢業(yè)于哈爾濱工業(yè)大學(xué)。主要從事大模型、預(yù)訓(xùn)練模型、機(jī)器閱讀理解等相關(guān)領(lǐng)域的研究工作，曾獲得相關(guān)領(lǐng)域國(guó)際評(píng)測(cè)20余項(xiàng)冠軍。所牽頭研制的中文預(yù)訓(xùn)練模型、大模型開(kāi)源項(xiàng)目（如Chinese-BERT-wwm、Chinese-LLaMA-Alapca系列），在開(kāi)源平臺(tái)累計(jì)獲得4萬(wàn)次以上star，多次登頂GitHub Trending全球項(xiàng)目及開(kāi)發(fā)者排行榜。在ACL、EMNLP、AAAI、IEEE/ACM TASLP等會(huì)議或期刊發(fā)表學(xué)術(shù)論文40余篇，其中ESI高被引論文1篇。曾獲國(guó)際語(yǔ)義評(píng)測(cè)SemEval-2022最佳論文提名獎(jiǎng)，2篇論文入選Paper Digest評(píng)選的最具影響力論文，多次入選“全球前2%頂尖科學(xué)家”。申請(qǐng)發(fā)明專利40余項(xiàng)、獲授權(quán)專利16項(xiàng)。擔(dān)任ACL 2025高級(jí)領(lǐng)域主席，EMNLP 2021、AACL 2022領(lǐng)域主席，ARR行動(dòng)編輯，TACL常任審稿人等學(xué)術(shù)職務(wù)。

圖書目錄

目錄
推薦序III
推薦語(yǔ)IV
前言VI
數(shù)學(xué)符號(hào)X
第1 部分基礎(chǔ)知識(shí)
第1 章緒論2
1.1 自然語(yǔ)言處理的概念3
1.2 自然語(yǔ)言處理的難點(diǎn).3
1.3 自然語(yǔ)言處理任務(wù)體系5
1.3.1 任務(wù)層級(jí)5
1.3.2 任務(wù)類別6
1.3.3 研究對(duì)象與層次6
1.4 自然語(yǔ)言處理技術(shù)發(fā)展歷史7
第2 章自然語(yǔ)言處理基礎(chǔ)11
2.1 文本的表示12
2.1.1 詞的獨(dú)熱表示12
2.1.2 詞的分布表示13
2.1.3 詞嵌入表示18
2.1.4 文本的詞袋表示18
2.2 自然語(yǔ)言處理任務(wù)19
2.2.1 自然語(yǔ)言處理基礎(chǔ)任務(wù)19
2.2.2 自然語(yǔ)言處理應(yīng)用任務(wù)25
2.3 基本問(wèn)題30
2.3.1 文本分類問(wèn)題30
2.3.2 結(jié)構(gòu)預(yù)測(cè)問(wèn)題30
2.3.3 序列到序列問(wèn)題33
2.4 評(píng)價(jià)指標(biāo)34
2.4.1 自然語(yǔ)言理解類任務(wù)的評(píng)價(jià)指標(biāo)35
2.4.2 自然語(yǔ)言生成類任務(wù)的評(píng)價(jià)指標(biāo)36
2.5 小結(jié)37
第3 章基礎(chǔ)工具集與常用數(shù)據(jù)集38
3.1 tiktoken 子詞切分工具39
3.2 NLTK 工具集40
3.2.1 常用語(yǔ)料庫(kù)和詞典資源41
3.2.2 常用自然語(yǔ)言處理工具集43
3.3 LTP 工具集45
3.3.1 中文分詞45
3.3.2 其他中文自然語(yǔ)言處理功能45
3.4 PyTorch 基礎(chǔ)46
3.4.1 張量的基本概念46
3.4.2 張量的基本運(yùn)算47
3.4.3 自動(dòng)微分 51
3.4.4 調(diào)整張量形狀52
3.4.5 廣播機(jī)制53
3.4.6 索引與切片54
3.4.7 降維與升維54
3.5 大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)集55
3.5.1 維基百科數(shù)據(jù)55
3.5.2 原始數(shù)據(jù)的獲取55
3.5.3 語(yǔ)料處理方法56
3.5.4 其他文本預(yù)訓(xùn)練數(shù)據(jù)集59
3.5.5 文本預(yù)訓(xùn)練數(shù)據(jù)集討論60
3.6 更多數(shù)據(jù)集60
3.7 小結(jié)62
第4 章自然語(yǔ)言處理中的神經(jīng)網(wǎng)絡(luò)基礎(chǔ)63
4.1 多層感知器模型64
4.1.1 感知器64
4.1.2 線性回歸64
4.1.3 Logistic 回歸65
4.1.4 Softmax 回歸66
4.1.5 多層感知器67
4.1.6 模型實(shí)現(xiàn)68
4.2 卷積神經(jīng)網(wǎng)絡(luò)70
4.2.1 模型結(jié)構(gòu)70
4.2.2 模型實(shí)現(xiàn)72
4.3 循環(huán)神經(jīng)網(wǎng)絡(luò)74
4.3.1 模型結(jié)構(gòu)74
4.3.2 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)75
4.3.3 模型實(shí)現(xiàn)77
4.3.4 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的序列到序列模型79
4.4 Transformer 模型79
4.4.1 注意力機(jī)制79
4.4.2 自注意力模型80
4.4.3 Transformer81
4.4.4 基于Transformer 的序列到序列模型85
4.4.5 Transformer 模型的優(yōu)缺點(diǎn)85
4.4.6 PyTorch 內(nèi)置模型實(shí)現(xiàn) 86
4.5 神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練87
4.5.1 損失函數(shù)87
4.5.2 梯度下降89
4.6 自然語(yǔ)言處理中的神經(jīng)網(wǎng)絡(luò)實(shí)戰(zhàn)92
4.6.1 情感分類實(shí)戰(zhàn)92
4.6.2 詞性標(biāo)注實(shí)戰(zhàn)102
4.7 小結(jié)104
第2 部分預(yù)訓(xùn)練語(yǔ)言模型
第5 章語(yǔ)言模型107
5.1 語(yǔ)言模型的基本概念108
5.2 N 元語(yǔ)言模型108
5.2.1 N 元語(yǔ)言模型的基本概念108
5.2.2 N 元語(yǔ)言模型的實(shí)現(xiàn)109
5.2.3 N 元語(yǔ)言模型的平滑111
5.3 神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型112
5.3.1 前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型113
5.3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型114
5.3.3 Transformer 語(yǔ)言模型116
5.3.4 基于神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型生成文本 117
5.4 語(yǔ)言模型的實(shí)現(xiàn)118
5.4.1 數(shù)據(jù)準(zhǔn)備 118
5.4.2 前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型119
5.4.3 循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型122
5.4.4 Transformer 語(yǔ)言模型125
5.5 語(yǔ)言模型性能評(píng)價(jià)129
5.6 小結(jié)130
第6 章預(yù)訓(xùn)練詞向量131
6.1 預(yù)訓(xùn)練靜態(tài)詞向量132
6.1.1 基于神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的靜態(tài)詞向量預(yù)訓(xùn)練132
6.1.2 Word2vec 詞向量132
6.1.3 負(fù)采樣135
6.1.4 GloVe 詞向量136
6.1.5 模型實(shí)現(xiàn)137
6.1.6 評(píng)價(jià)與應(yīng)用143
6.2 預(yù)訓(xùn)練動(dòng)態(tài)詞向量148
6.2.1 雙向語(yǔ)言模型149
6.2.2 ELMo 詞向量151
6.2.3 模型實(shí)現(xiàn) 152
6.2.4 評(píng)價(jià)與應(yīng)用162
6.3 小結(jié) 164
第7 章預(yù)訓(xùn)練語(yǔ)言模型166
7.1 概述167
7.2 Decoder-only 模型167
7.2.1 GPT 168
7.2.2 GPT-2 172
7.2.3 GPT-3 173
7.3 Encoder-only 模型174
7.3.1 BERT 174
7.3.2 RoBERTa 185
7.3.3 ALBERT 189
7.3.4 ELECTRA 191
7.3.5 MacBERT 194
7.3.6 模型對(duì)比196
7.4 Encoder-Decoder 模型196
7.4.1 T5 197
7.4.2 BART 198
7.5 預(yù)訓(xùn)練模型的任務(wù)微調(diào)：NLU 類201
7.5.1 單句文本分類202
7.5.2 句對(duì)文本分類205
7.5.3 閱讀理解207
7.5.4 序列標(biāo)注211
7.6 預(yù)訓(xùn)練模型的任務(wù)微調(diào)：NLG 類216
7.6.1 文本生成216
7.6.2 機(jī)器翻譯217
7.7 小結(jié)220
第3 部分大語(yǔ)言模型
第8 章大語(yǔ)言模型的預(yù)訓(xùn)練222
8.1 大語(yǔ)言模型的基本結(jié)構(gòu)223
8.1.1 Llama 223
8.1.2 Mixtral 226
8.1.3 縮放法則228
8.1.4 常見(jiàn)大語(yǔ)言模型對(duì)比230
8.2 注意力機(jī)制的優(yōu)化230
8.2.1 稀疏注意力231
8.2.2 多查詢注意力與分組查詢注意力233
8.2.3 FlashAttention 234
8.3 位置編碼策略237
8.3.1 RoPE 237
8.3.2 ALiBi 240
8.4 長(zhǎng)上下文處理策略242
8.4.1 位置插值法242
8.4.2 基于NTK 的方法245
8.4.3 LongLoRA 246
8.4.4 YaRN 247
8.5 并行訓(xùn)練策略251
8.5.1 數(shù)據(jù)并行251
8.5.2 模型并行252
8.5.3 流水線并行254
8.5.4 混合并行254
8.5.5 零冗余優(yōu)化255
8.5.6 DeepSpeed 256
8.6 小結(jié)257
第9 章大語(yǔ)言模型的適配258
9.1 引言259
9.2 基于提示的推斷259
9.2.1 提示工程260
9.2.2 檢索與工具增強(qiáng)267
9.3 多任務(wù)指令微調(diào)269
9.3.1 現(xiàn)有數(shù)據(jù)集轉(zhuǎn)換271
9.3.2 自動(dòng)生成指令數(shù)據(jù)集271
9.3.3 指令微調(diào)的實(shí)現(xiàn)273
9.4 基于人類反饋的強(qiáng)化學(xué)習(xí)276
9.4.1 基于人類反饋的強(qiáng)化學(xué)習(xí)算法的原理276
9.4.2 基于人類反饋的強(qiáng)化學(xué)習(xí)算法的改進(jìn)279
9.4.3 人類偏好數(shù)據(jù)集280
9.5 參數(shù)高效精調(diào)280
9.5.1 LoRA 281
9.5.2 QLoRA 284
9.5.3 Adapter 288
9.5.4 Prefix-tuning 289
9.5.5 P-tuning 290
9.5.6 Prompt-tuning 291
9.6 大語(yǔ)言模型的中文適配 292
9.6.1 中文詞表擴(kuò)充 292
9.6.2 中文增量訓(xùn)練 295
9.7 大語(yǔ)言模型壓縮 296
9.7.1 知識(shí)蒸餾 296
9.7.2 模型裁剪 302
9.7.3 參數(shù)量化 305
9.8 小結(jié) 310
第10 章大語(yǔ)言模型的應(yīng)用311
10.1 大語(yǔ)言模型的應(yīng)用示例312
10.1.1 知識(shí)問(wèn)答 312
10.1.2 人機(jī)對(duì)話 313
10.1.3 文本摘要 314
10.1.4 代碼生成 315
10.2 生成指令數(shù)據(jù) 316
10.2.1 Self-Instruct 316
10.2.2 Alpaca 319
10.2.3 WizardLM 322
10.3 大語(yǔ)言模型的量化與部署324
10.3.1 llama.cpp 324
10.3.2 transformers 329
10.3.3 vLLM 332
10.4 本地化開(kāi)發(fā)與應(yīng) 335
10.4.1 LangChain 335
10.4.2 privateGPT 338
10.5 工具調(diào)用與自動(dòng)化 342
10.5.1 AutoGPT 342
10.5.2 HuggingGPT 346
10.6 小結(jié)348
第11 章大語(yǔ)言模型的能力評(píng)349
11.1 引言350
11.2 通用領(lǐng)域及任務(wù)評(píng)估350
11.2.1 語(yǔ)言理解能力350
11.2.2 文本生成能力352
11.2.3 知識(shí)與推理能力357
11.3 特定領(lǐng)域及任務(wù)評(píng)估360
11.3.1 數(shù)學(xué)360
11.3.2 代碼360
11.4 模型對(duì)齊能力評(píng)估362
11.4.1 有用性363
11.4.2 無(wú)害性365
11.4.3 安全性367
11.4.4 真實(shí)性367
11.5 大語(yǔ)言模型的評(píng)價(jià)方法368
11.5.1 評(píng)價(jià)設(shè)置：適配368
11.5.2 自動(dòng)評(píng)價(jià)方法369
11.5.3 人工評(píng)價(jià)方法370
11.5.4 紅隊(duì)測(cè)試371
11.6 小結(jié)372
第12 章預(yù)訓(xùn)練語(yǔ)言模型的延伸374
12.1 多語(yǔ)言預(yù)訓(xùn)練模型375
12.1.1 多語(yǔ)言BERT 375
12.1.2 跨語(yǔ)言預(yù)訓(xùn)練語(yǔ)言模型376
12.1.3 多語(yǔ)言預(yù)訓(xùn)練語(yǔ)言模型的應(yīng)用378
12.1.4 大規(guī)模多語(yǔ)言模型379
12.2 代碼預(yù)訓(xùn)練模型379
12.2.1 代表性代碼預(yù)訓(xùn)練模型380
12.2.2 代碼預(yù)訓(xùn)練模型的對(duì)齊383
12.2.3 代碼預(yù)訓(xùn)練模型的應(yīng)用383
12.3 多模態(tài)預(yù)訓(xùn)練模型384
12.3.1 掩碼圖像模型384
12.3.2 基于對(duì)比學(xué)習(xí)的多模態(tài)預(yù)訓(xùn)練模型.386
12.3.3 圖到文預(yù)訓(xùn)練模型388
12.3.4 圖像或視頻生成390
12.4 具身預(yù)訓(xùn)練模型392
12.5 小結(jié)394
第13 章DeepSeek 系列模型原理簡(jiǎn)介395
13.1 DeepSeek 系列模型概述396
13.2 模型架構(gòu)優(yōu)化398
13.2.1 算法優(yōu)化398
13.2.2 基礎(chǔ)設(shè)施優(yōu)化 402
13.3 基于強(qiáng)化學(xué)習(xí)習(xí)得推理能力405
13.3.1 DeepSeek-R1-Zero：僅通過(guò)強(qiáng)化學(xué)習(xí)習(xí)得推理能力405
13.3.2 DeepSeek-R1：規(guī)范性和泛化性408
13.3.3 蒸餾: 推理能力的遷移 411
13.4 小結(jié) 411
參考文獻(xiàn)413
術(shù)語(yǔ)表421