电子工业出版社-网上书店

本书以PyTorch作为深度学习框架，主要包括4部分。第1部分（第1、2章），主要概述PyTorch基础知识与常见深度学习算法实现，例如，CNN、LSTM，即CNN-LSTM；第2部分（第3～5章）高级神经网络实现，主要包括常见的深度学习网络结构，例如CNN、RNN及最新的Transformer等模型；第3部分（第6～9章）生成式AI和深度强化学习，主要包括GAN、GPT和DQN等算法；第4部分（第10～14章）生产中PyTorch落地的几个关键性主题，分布式训练、自动机器学习管道构建和硬件快速部署。

第1部分  PyTorch概述
第 1 章  使用PyTorch概述深度学习	003
1.1  技术要求	005
1.2  回顾深度学习	005
1.2.1  激活函数	011
1.2.2  优化模式	014
1.3  探索PyTorch库	018
1.3.1  PyTorch模块	019
1.3.2  Tensor模块	021
1.4  使用PyTorch训练神经网络	025
1.5  总结	033
第 2 章  结合CNN和LSTM	035
2.1  技术要求	036
2.2  使用CNN和LSTM构建神经网络	036
2.3  使用PyTorch构建图像文字描述生成器	038
2.3.1  下载图像文字描述数据集	039
2.3.2  预处理文字描述（文本）数据	041
2.3.3  预处理图像数据	043
2.3.4  定义图像文字描述数据加载器	045
2.3.5  定义CNN-LSTM模型	047
2.3.6  训练CNN-LSTM模型	050
2.3.7  使用已经训练的模型生成图像文字描述	054
2.4  总结	057
第2部分  使用高级神经网络架构
第 3 章  深度CNN架构	061
3.1  技术要求	062
3.2  为什么CNN如此强大？	062
3.3  CNN架构的演变	065
3.4  从零开始开发LeNet	068
3.4.1  使用PyTorch构建LeNet	070
3.4.2  训练LeNet	076
3.4.3  测试LeNet	077
3.5  微调AlexNet模型	079
3.6  运行预训练的VGG模型	090
3.7  探索GoogLeNet和Inception v3	094
3.7.1  Inception模块	094
3.7.2  1×1卷积	097
3.7.3  全局平均池化	097
3.7.4  辅助分类器	097
3.7.5  Inception v3	099
3.8  讨论ResNet和DenseNet架构	102
3.9  了解EfficientNets和CNN架构的未来	109
3.10  总结	111
第 4 章  深度循环模型架构	113
4.1  技术要求	114
4.2  探索循环网络的演变	115
4.2.1  循环神经网络的类型	115
4.2.2  RNN	117
4.2.3  双向RNN	118
4.2.4  LSTM	119
4.2.5  扩展和双向LSTM	121
4.2.6  多维RNN	121
4.2.7  堆叠LSTM	122
4.2.8  GRU	123
4.2.9  Grid LSTM	124
4.2.10  门控正交循环单元	124
4.3  训练RNN进行情感分析	124
4.3.1  加载和预处理文本数据集	125
4.3.2  实例化和训练模型	131
4.4  构建双向LSTM	137
4.4.1  加载和预处理文本数据集	137
4.4.2  实例化和训练LSTM模型	139
4.5  讨论GRU和基于注意力的模型	141
4.5.1  GRU和PyTorch	142
4.5.2  基于注意力的模型	142
4.6  总结	144
第 5 章  混合高级模型	146
5.1  技术要求	147
5.2  构建用于语言建模的Transformer模型	147
5.2.1  回顾语言建模	147
5.2.2  理解Transforms模型架构	148
5.3  从头开始开发RandWireNN模型	160
5.3.1  理解RandWireNN	161
5.3.2  使用PyTorch开发RandWireNN	162
5.4  总结	174
第3部分  生成模型和深度强化学习
第 6 章  使用PyTorch生成音乐和文本	179
6.1  技术要求	180
6.2  使用PyTorch构建基于Transformer的文本生成器	180
6.2.1  训练基于Transformer的语言模型	181
6.2.2  保存和加载语言模型	182
6.2.3  使用语言模型生成文本	182
6.3  使用预训练的GPT-2模型作为文本生成器	184
6.3.1  使用GPT-2生成便捷的文本	184
6.3.2  使用PyTorch的文本生成策略	185
6.4  使用PyTorch与LSTM生成MIDI音乐	192
6.4.1  加载MIDI音乐数据	193
6.4.2  定义LSTM模型和训练例程	197
6.4.3  训练和测试音乐生成模型	199
6.5  总结	202
第 7 章  神经风格转移	204
7.1  技术要求	205
7.2  理解如何在图像之间传递风格	205
7.3  使用PyTorch实现神经风格迁移	209
7.3.1  加载内容图像和风格图像	209
7.3.2  构建神经风格迁移模型	213
7.3.3  训练风格迁移模型	214
7.3.4  尝试风格迁移系统	219
7.4  总结	222
第 8 章  深度卷积GAN	224
8.1  技术要求	225
8.2  定义生成器和判别器网络	226
8.3  使用PyTorch训练DCGAN	229
8.3.1  定义生成器	229
8.3.2  定义判别器	232
8.3.3  加载图像数据集	233
8.3.4  DCGAN的训练循环	234
8.4  使用GAN进行风格迁移	239
8.5  总结	248
第 9 章  深度强化学习	249
9.1  技术要求	250
9.2  回顾强化学习概念	251
9.2.1  强化学习算法类型	253
9.3  讨论Q-学习	256
9.4  理解深度Q-学习	261
9.4.1  使用两个独立的DNN	262
9.4.2  经验回放缓冲器	262
9.5  在PyTorch中构建DQN模型	263
9.5.1  初始化主和目标CNN模型	263
9.5.2  定义经验回放缓冲区	266
9.5.3  设置环境	267
9.5.4  定义CNN优化函数	269
9.5.5  管理和运行迭代	270
9.5.6  训练DQN模型以学习Pong	273
9.6  总结	277
第4部分  生产系统中的PyTorch
第 10 章  将PyTorch模型投入生产中	281
10.1  技术要求	282
10.2  PyTorch中的模型服务	283
10.2.1  创建PyTorch模型推理流水线	283
10.2.2  构建基本模型服务器	290
10.2.3  创建模型微服务	298
10.3  使用TorchServe为PyTorch模型提供服务	304
10.3.1  安装TorchServe	305
10.3.2  启动和使用TorchServe服务器	305
10.4  使用TorchScript和ONNX导出通用PyTorch模型	310
10.4.1  了解TorchScript的功能	310
10.4.2  使用TorchScript进行模型跟踪	311
10.4.3  使用TorchScript编写模型脚本	315
10.4.4  在C++中运行PyTorch模型	318
10.4.5  使用ONNX导出PyTorch模型	322
10.5  在云端提供PyTorch模型	325
10.5.1  将PyTorch与AWS结合使用	326
10.5.2  在Google Cloud上提供PyTorch模型	330
10.5.3  使用Azure为PyTorch模型提供服务	332
10.6  总结	334
参考资料	335
第 11 章  分布式训练	337
11.1  技术要求	338
11.2  使用PyTorch进行分布式训练	338
11.2.1  以常规方式训练MNIST模型	339
11.2.2  以分布式方式训练MNIST模型	342
11.3  使用CUDA在GPU上进行分布式训练	350
11.4  总结	353
第 12 章  PyTorch和AutoML	355
12.1  技术要求	355
12.2  使用AutoML寻找最佳神经架构	356
12.3  使用Optuna进行超参数搜索	365
12.4  定义模型架构和加载数据集	366
12.4.1  定义模型训练例程和优化计划	369
12.4.2  运行Optuna的超参数搜索	370
12.5  总结	373
第 13 章  PyTorch和AI可解释	375
13.1  技术要求	376
13.2  PyTorch中的模型可解释性	376
13.2.1  训练手写数字分类器—回顾	376
13.2.2  可视化模型的卷积过滤器	379
13.2.3  可视化模型的特征图	381
13.3  使用Captum解释模型	384
13.3.1  设置Captum	384
13.3.2  探索Captum的可解释性工具	386
13.4  总结	390
第 14 章  使用PyTorch进行快速原型设计	391
14.1  技术要求	392
14.2  使用fast.ai快速设置模型训练	392
14.2.1  设置fast.ai并加载数据	393
14.2.2  使用fast.ai训练MNIST模型	395
14.2.3  使用fast.ai评估和解释模型	397
14.3  在任何硬件上使用PyTorch Lightning训练模型	399
14.3.1  在PyTorch Lightning中定义模型组件	399
14.3.2  使用PyTorch Lightning训练并评估模型	401
14.4  总结	405

“工欲善其事，必先利其器。”
—《论语》

深度学习自2006年提出以来，在学术界和产业界产生了巨大的影响。在理论方面，深度学习发展出了很多新的模型和网络结构，如深度卷积神经网络、循环神经网络、对抗神经网络、图神经网络等。在应用方面，计算机视觉、自然语言处理和机器人技术等发挥了巨大价值。近几年，由于深度学习本身存在不足以解决小样本学习和模型泛化能力的问题，以迁移学习和元学习为代表的新型机器学习逐渐兴起，成为人工智能领域的新兴研究方向。理论得到了发展，对应的开发语言和开源库也取得了长足的丰富。正所谓“合久必分，分久必合”，深度学习库也经历了这样的过程。刚开始，这一领域出现了60多个深度学习开源库，涉及的开发语言有Python、R和Java等。目前而言，主要是以Python开发为主，同时涉及TensorFlow、PyTorch和MXNet等深度学习开源库。这几个框架各有优缺点，读者可以根据实际情况进行选择。
本书是一本围绕PyTorch展开的工具书，以一种引人入胜的方式通过PyTorch探索深度学习的世界。本书共4个部分，第1部分（第1、2章），主要是对PyTorch深度学习进行概述，以案例和源码讲解形式探索CNN和LSTM对其图像的处理；第2部分（第3～5章），主要研究CNN框架、深度循环网络和混合模型；第3部分（第6～9章），主要介绍GAN和深度强化学习，以图像迁移风格及生成音乐和问题为场景，对其进行深度探索；第4部分（第10～14章），也是本书的特色之处，本部分生成系统中的PyTroch，主要探究分布式计算、AutoML、AI可解释性及使用PyTorch快速构建机器学习原型设计。本书适合深度学习、大数据和人工智能等方面的从业人员，以及对该领域感兴趣的人员阅读。
理论与实践是统一辩证的。深度学习与机器学习涉及理论丰富繁杂，涉及的学科也很多，如数学、统计学、计算机科学、信息论和社会科学等。这也是这个方向门槛高的主要原因，并且这个方向还在快速的发展之中。另外，能够满足这些理论方法的工具很多，涉及各种语言和开源库，但目前大家的共识是使用Python语言和TensorFlow、PyTorch等开源库，这些也给使用人员增加了很多学习成本，例如，要熟悉一门开发语言，就要熟悉数据结构和算法设计、离散数学和软件工程设计等方面。要想在这方面取得一定的成就，就要求使用人员“知行合一”。同时，这是一个知识密集型和技术快速发展的方向，选择PyTorch可以降低学习成本。
本书由四位译者共同翻译、审核、校对。在翻译本书的过程中，得到了很多人的帮助，对外经济贸易大学英语学院许瀚、西南交通大学外国语学院的周宇健和陈卓、吉林财经大学外国语学院张煜琪等参与了全书校对和审核工作。我以本书作为参考教材，以人工智能和机器学习作为主题进行了公益培训，在此过程中我不断查阅资料，也感谢各位参与人员的反馈，使我有机会对本书中的翻译细节进行了修正。最后，感谢电子工业出版社编辑，他们做了大量的编辑和校对工作，有效提升了本书质量。
由于本书涉及范围广且深，加上译者翻译水平有限，翻译过程中难免有错漏之处，欢迎各位读者在阅读过程中将本书参考源码、问题和勘误提交至E-mail（guotao3s@163.com或lzhmails@163.com）。

         郭  涛
2023年7月于蓉城

本书配套资源下载

对不起，暂无音视频资源！

PyTorch实战