电子工业出版社-网上书店

大语言模型作为人工智能革命的核心驱动力，正深刻重构自然语言处理与多模态领域的技术范式。本书系统构建了从理论基石到产业实践的全栈知识体系，深入解析语言模型演进脉络与Transformer核心架构，剖析大规模训练中的工程挑战与优化方案，阐释跨语言迁移能力的实现机制，并重点通过医疗、金融、法律等领域的真实案例，揭示模型定制化应用与场景落地的完整路径。全书立足技术前沿，兼顾算法深度与实践创新，致力为人工智能研究者、工程师与技术决策者提供兼具系统性与实用性的实践指南。

第1章　大语言模型概况	1
1.1　研究背景及意义	1
1.1.1　研究背景	1
1.1.2　研究意义	2
1.2　基本概念及问题描述	5
1.2.1　语言模型	6
1.2.2　Transformer架构	7
1.2.3　预训练语言模型	10
1.2.4　仅编码器架构	11
1.2.5　编码器-解码器架构	12
1.2.6　仅解码器架构	13
1.2.7　微调与上下文学习	13
1.3　典型方法与代表性系统	14
1.3.1　统计语言模型	15
1.3.2　循环神经网络语言模型	17
1.3.3　基于Transformer架构的语言模型	18
1.3.4　掩码语言模型	19
1.3.5　自回归语言模型	20
1.3.6　指令微调训练	21
1.3.7　基于人类反馈的强化学习训练	22
1.4　相关数据与评测指标	23
1.4.1　Pile数据集	24
1.4.2　ROOTS数据集	27
1.4.3　RedPajama和SlimPajama数据集	28
1.4.4　RefineWeb数据集	29
1.4.5　CLUECorpus数据集	31
1.4.6　WuDao数据集	32
1.4.7　性能评测	33
1.5　参考文献	35
第2章　大语言模型的基础理论	43
2.1　Transformer架构	43
2.2　词表示	43
2.2.1　字节对编码分词	43
2.2.2　单字语言模型分词	44
2.3　位置编码	45
2.3.1　绝对位置编码	45
2.3.2　相对位置编码	46
2.4　Transformer架构组成	46
2.4.1　编码器与解码器	46
2.4.2　多头注意力机制	47
2.5　大语言模型训练	48
2.6　语言模型应用	49
2.6.1　自然语言理解	49
2.6.2　上下文学习	51
2.6.3　多模态	52
2.6.4　智能体	53
2.7　参考文献	54
第3章　大语言模型架构与训练技术	58
3.1　大语言模型发展现状	58
3.2　大语言模型架构	61
3.2.1　位置编码	61
3.2.2　归一化	63
3.2.3　注意力机制	65
3.2.4　前馈神经网络	67
3.3　大语言模型预训练数据	68
3.3.1　多源数据收集	68
3.3.2　数据处理与过滤	70
3.3.3　数据影响分析	70
3.4　大语言模型训练技术	74
3.4.1　分布式训练	74
3.4.2　并行训练策略分析	76
3.4.3　DeepSpeed训练实践	78
3.4.4　预训练大语言模型评估实践	79
3.5　有监督下游任务指令微调	87
3.5.1　指令微调数据	87
3.5.2　有监督指令微调实践与评估	88
3.6　本章小结	93
3.7　参考文献	94
第4章　大语言模型的效率优化	100
4.1　大语言模型的效率问题	100
4.1.1　研究背景及意义	100
4.1.2　本章问题描述及解决思路	101
4.2　摘要场景下的大语言模型效率优化	101
4.2.1　引言	101
4.2.2　模型架构	103
4.2.3　实验验证	109
4.3　基于上下文压缩的效率优化	117
4.3.1　引言	117
4.3.2　模型架构	119
4.3.3　实验验证	121
4.4　参考文献	130
第5章　大语言模型跨语言迁移性能分析	137
5.1　多语言模型预训练任务分析	137
5.1.1　概述	137
5.1.2　多语言掩码建模	137
5.1.3　翻译语言模型	138
5.2　衡量语言模型的跨语言迁移能力	139
5.2.1　引言	139
5.2.2　传统指标：跨语言迁移差距	140
5.2.3　跨语言迁移性指标IGAP	141
5.2.4　实验与分析	143
5.2.5　小结	151
5.3　高资源语言无监督训练对模型多语言表现的影响	151
5.3.1　引言	151
5.3.2　方法	154
5.3.3　实验验证：上游知识迁移	158
5.3.4　实验验证：下游知识迁移	161
5.4　本章小结	163
5.5　参考文献	163
第6章　基于预训练的跨语言迁移学习模型	166
6.1　引言	166
6.2　基于跨语言对比训练的多语言模型	167
6.2.1　概述	167
6.2.2　方法	168
6.2.3　实验验证	170
6.2.4　分析与讨论	175
6.2.5　小结	178
6.3　面向文本生成的跨语言迁移学习	178
6.3.1　XNLG的预训练任务	179
6.3.2　XNLG的预训练步骤	182
6.3.3　在下游自然语言生成任务上微调	183
6.3.4　问题生成的跨语言迁移	183
6.3.5　文本摘要的跨语言迁移	184
6.3.6　小结	186
6.4　面向文本理解及生成的跨语言迁移学习	186
6.4.1　概述	186
6.4.2　多语言文本转换	187
6.4.3　MT6：基于翻译句对的跨语言预训练	188
6.4.4　实验验证	190
6.4.5　小结	195
6.5　基于词对齐监督的多语言模型	195
6.5.1　方法	196
6.5.2　实验验证	199
6.5.3　小结	202
6.6　参考文献	202
第7章　基于大语言模型的跨语言文本摘要研究	206
7.1　跨语言文本摘要任务简介	206
7.1.1　研究背景及意义	206
7.1.2　本章问题描述及解决思路	206
7.2　低资源场景下的跨语言文本摘要	207
7.2.1　引言	207
7.2.2　模型架构	210
7.2.3　实验验证	213
7.3　翻译语料加持的跨语言文本摘要	221
7.3.1　引言	221
7.3.2　模型架构	223
7.3.3　实验验证	228
7.4　参考文献	237
第8章　基于领域迁移的大语言模型场景应用	243
8.1　大语言模型的基础能力	243
8.2　大语言模型在生物医疗领域的应用实例	245
8.2.1　大语言模型在医疗领域的应用	245
8.2.2　大语言模型在计算生物学的应用	247
8.3　大语言模型在社会科学的应用实例	248
8.3.1　大语言模型在法律领域的应用	248
8.3.2　大语言模型在心理学的应用	250
8.3.3　大语言模型在社会计算的应用	251
8.3.4　大语言模型在金融领域的应用	251
8.4　大语言模型在计算机领域的应用实例	252
8.4.1　大语言模型在编程领域的应用	252
8.4.2　大语言模型在软件工程领域的应用	253
8.4.3　大语言模型在智能体领域的应用	254
8.5　大语言模型在学科发展与艺术创作领域的应用实例	256
8.5.1　大语言模型在促进学科发展的应用	256
8.5.2　大语言模型在艺术创作领域的应用	257
8.6　大语言模型在法律和金融领域的应用实例	259
8.6.1　大语言模型在法律领域的应用	259
8.6.2　大语言模型在金融领域的应用	262
8.7　本章小结	265
8.8　参考文献	265

大语言模型（Large Language Model，LLM）是当今人工智能领域最具革命性的技术之一。自从基于Transformer架构的预训练语言模型出现以来，它们在多个自然语言处理任务上表现出了前所未有的强大能力，从文本生成、机器翻译，到情感分析、问题回答等多种应用场景，几乎涵盖了所有我们能够想到的自然语言理解与生成任务。随着计算能力的不断提升、海量数据的积累及模型训练技术的进步，大语言模型的规模和表现也在不断提升，并将其性能成功拓展到计算机视觉、语音处理、机器人学等诸多计算机研究领域，带来了前所未有的机遇与挑战。
本书旨在为读者提供一份全面而深入的指南，详细阐述大语言模型的技术基础、训练方法及其在各类实际场景中的应用。书中的内容涵盖了从基础理论到应用实践的广泛领域，力求为科研人员、工程师，以及所有对大语言模型技术感兴趣的读者提供一个清晰的知识框架，帮助读者了解大语言模型的本质、发展历程，以及在不同领域中的应用。
本书第1章从大语言模型的基本概念入手，介绍了大语言模型的历史演进，尤其是Transformer架构的提出如何成为大语言模型成功的核心驱动力；深入探讨了预训练语言模型的各类架构，包括仅编码器架构、仅解码器架构及编码器-解码器架构，并对微调与上下文学习的技术进行详细说明；通过对统计语言模型、循环神经网络语言模型，以及基于Transformer架构的语言模型等技术的分析，读者能够更好地理解当前技术的发展脉络。
本书第2章进一步探讨了大语言模型的基础理论，尤其是Transformer架构中的多头注意力机制、前馈神经网络，以及位置编码等核心技术。通过对这些基础理论的深入讲解，读者可以更好地理解大语言模型如何处理复杂的语言任务，并且为后续的实践提供理论支撑。
随着技术的深入，第3章和第4章将带领读者进入大语言模型的训练与优化领域。从分布式训练、并行训练策略分析，到DeepSpeed训练实践，每项技术的背后都凝聚着无数科研人员的智慧。训练大语言模型不仅是技术上的挑战，也是数据上的挑战。本章将详细介绍大语言模型训练所需的数据收集、处理与过滤技术，并提供实际的性能评估与效率优化方法，帮助读者在实践中进行高效的模型优化。
跨语言迁移能力是大语言模型的一项重要特性，它使得其模型能够在多种语言环境下执行任务，甚至在低资源语言的环境中也能展现出优异的表现。第5～7章详细探讨了大语言模型的跨语言迁移能力，分析了多语言模型的预训练任务及其迁移性，并对传统和新兴的跨语言迁移性评估方法进行了系统介绍。此外，还介绍了如何通过高资源语言的无监督训练，增强模型在低资源语言中的表现，从而实现更广泛的跨语言应用。
第8章着重介绍了大语言模型如何在不同领域进行迁移学习，特别是在生物医疗、社会科学、计算机等领域，讨论了大语言模型如何针对具体领域的特定任务进行微调与应用。通过实际案例，展示了大语言模型在法律、金融、编程、智能体等多领域的广泛应用，以及如何通过领域特定的微调提升模型的实际效果。
总之，本书旨在以专业严谨的分析，帮助读者全面掌握大语言模型的技术细节，并理解其在现代社会中的重要意义。无论是研究者、开发者，还是技术爱好者，都可以从书中获得深刻的启发和实践指导。我们期待通过本书的内容，激发更多人对大语言模型技术的兴趣与热情，推动这一领域的持续发展与创新。
希望本书能成为您深入了解大语言模型的有力工具，并在您的科研与工程实践中发挥积极的作用。由于编著者的能力和水平有限，书中难免存在不足之处，希望读者不吝赐教。

本书配套资源下载

对不起，暂无音视频资源！

大语言模型：技术实践与场景应用