电子工业出版社-网上书店

TensorFlow是谷歌2015年开源的主流深度学习框架，目前已得到广泛应用。本书为TensorFlow入门参考书，旨在帮助读者以快速、有效的方式上手TensorFlow和深度学习。书中省略了烦琐的数学模型推导，从实际应用问题出发，通过具体的TensorFlow示例介绍如何使用深度学习解决实际问题。书中包含深度学习的入门知识和大量实践经验，是走进这个前沿、热门的人工智能领域的优选参考书。第2版将书中所有示例代码从TensorFlow 0.9.0升级到了TensorFlow 1.4.0。在升级API的同时，第2版也补充了更多只有TensorFlow 1.4.0才支持的功能。另外，第2版还新增两章分别介绍TensorFlow高层封装和深度学习在自然语言领域应用的内容。本书适用于想要使用深度学习或TensorFlow的数据科学家、工程师，希望了解深度学习的大数据平台工程师，对人工智能、深度学习感兴趣的计算机相关从业人员及在校学生等。

第1章  深度学习简介	1
1.1  人工智能、机器学习与深度学习	2
1.2  深度学习的发展历程	6
1.3  深度学习的应用	10
1.3.1  计算机视觉	10
1.3.2  语音识别	13
1.3.3  自然语言处理	14
1.3.4  人机博弈	17
1.4  深度学习工具介绍和对比	19
小结	23
第2章  TensorFlow环境搭建	25
2.1  TensorFlow的主要依赖包	25
2.1.1  Protocol Buffer	25
2.1.2  Bazel	27
2.2  TensorFlow安装	29
2.2.1  使用Docker安装	30
2.2.2  使用pip安装	31
2.2.3  从源代码编译安装	32
2.3  TensorFlow测试样例	37
小结	38
第3章  TensorFlow入门	39
3.1  TensorFlow计算模型——计算图	39
3.1.1  计算图的概念	39
3.1.2  计算图的使用	40
3.2  TensorFlow数据模型——张量	42
3.2.1  张量的概念	42
3.2.2  张量的使用	44
3.3  TensorFlow运行模型——会话	45
3.4  TensorFlow实现神经网络	47
3.4.1  TensorFlow游乐场及神经网络简介	47
3.4.2  前向传播算法简介	50
3.4.3  神经网络参数与TensorFlow变量	54
3.4.4  通过TensorFlow训练神经网络模型	58
3.4.5  完整神经网络样例程序	62
小结	64
第4章  深层神经网络	66
4.1  深度学习与深层神经网络	66
4.1.1  线性模型的局限性	67
4.1.2  激活函数实现去线性化	70
4.1.3  多层网络解决异或运算	73
4.2  损失函数定义	74
4.2.1  经典损失函数	75
4.2.2  自定义损失函数	79
4.3  神经网络优化算法	81
4.4  神经网络进一步优化	85
4.4.1  学习率的设置	85
4.4.2  过拟合问题	87
4.4.3  滑动平均模型	91
小结	92
第5章  MNIST数字识别问题	94
5.1  MNIST数据处理	94
5.2  神经网络模型训练及不同模型结果对比	97
5.2.1  TensorFlow训练神经网络	97
5.2.2  使用验证数据集判断模型效果	102
5.2.3  不同模型效果比较	103
5.3  变量管理	107
5.4  TensorFlow模型持久化	112
5.4.1  持久化代码实现	112
5.4.2  持久化原理及数据格式	117
5.5  TensorFlow最佳实践样例程序	126
小结	132
第6章  图像识别与卷积神经网络	134
6.1  图像识别问题简介及经典数据集	135
6.2  卷积神经网络简介	139
6.3  卷积神经网络常用结构	142
6.3.1  卷积层	142
6.3.2  池化层	147
6.4  经典卷积网络模型	149
6.4.1  LeNet-5模型	150
6.4.2  Inception-v3模型	156
6.5  卷积神经网络迁移学习	160
6.5.1  迁移学习介绍	160
6.5.2  TensorFlow实现迁移学习	161
小结	168
第7章  图像数据处理	170
7.1  TFRecord输入数据格式	170
7.1.1  TFRecord格式介绍	171
7.1.2  TFRecord样例程序	171
7.2  图像数据处理	173
7.2.1  TensorFlow图像处理函数	174
7.2.2  图像预处理完整样例	183
7.3  多线程输入数据处理框架	185
7.3.1  队列与多线程	186
7.3.2  输入文件队列	190
7.3.3  组合训练数据（batching）	193
7.3.4  输入数据处理框架	196
7.4  数据集（Dataset）	199
7.4.1  数据集的基本使用方法	199
7.4.2  数据集的高层操作	202
小结	207
第8章  循环神经网络	208
8.1  循环神经网络简介	208
8.2  长短时记忆网络（LSTM）结构	214
8.3  循环神经网络的变种	218
8.3.1  双向循环神经网络和深层循环神经网络	218
8.3.2  循环神经网络的dropout	221
8.4  循环神经网络样例应用	222
小结	226
第9章  自然语言处理	227
9.1  语言模型的背景知识	227
9.1.1  语言模型简介	227
9.1.2  语言模型的评价方法	229
9.2  神经语言模型	232
9.2.1  PTB数据集的预处理	233
9.2.2  PTB数据的batching方法	236
9.2.3  基于循环神经网络的神经语言模型	238
9.3  神经网络机器翻译	244
9.3.1  机器翻译背景与Seq2Seq模型介绍	245
9.3.2  机器翻译文本数据的预处理	246
9.3.3  Seq2Seq模型的代码实现	250
9.3.4  注意力机制	257
小结	261
第10章  TensorFlow高层封装	262
10.1  TensorFlow高层封装总览	262
10.2  Keras介绍	267
10.2.1  Keras基本用法	267
10.2.2  Keras高级用法	272
10.3  Estimator介绍	277
10.3.1  Estimator基本用法	278
10.3.2  Estimator自定义模型	280
10.3.3  使用数据集（Dataset）作为Estimator输入	284
小结	286
第11章  TensorBoard可视化	287
11.1  TensorBoard简介	287
11.2  TensorFlow计算图可视化	289
11.2.1  命名空间与TensorBoard图上节点	290
11.2.2  节点信息	297
11.3  监控指标可视化	301
11.4  高维向量可视化	309
小结	317
第12章  TensorFlow计算加速	318
12.1  TensorFlow使用GPU	318
12.2  深度学习训练并行模式	324
12.3  多GPU并行	327
12.4  分布式TensorFlow	334
12.4.1  分布式TensorFlow原理	334
12.4.2  分布式TensorFlow模型训练	338
小结	348

推 荐 序 1
“互联网+”的大潮催生了诸如“互联网+外卖”、“互联网+打车”、“互联网+家政”等众多商业模式的创新和创业佳话。而当“互联网+”已被写入教科书并成为传统行业都在积极践行的发展道路时，过去一年科技界的聚光灯却被人工智能和深度学习所创造的一个个奇迹所占据。从AlphaGo肆虐围棋界，到人工智能创业大军的崛起，都预示着我们即将步入“AI+”的时代：“AI+教育”、“AI+媒体”、“AI+医学”、“AI+配送”、“AI+农业”，等等，将会层出不穷。
AI在近期的爆发离不开数据“质”和“量”的提升，离不开高性能计算平台的发展，更离不开算法的进步，而深度学习则成为了推动算法进步中的一个主力军。TensorFlow作为谷歌开源的深度学习框架，包含了谷歌过去10年间对于人工智能的探索和成功的商业应用。谷歌的自动驾驶、搜索、购物、广告、云计算等产品，都无时无刻不在利用类似TensorFlow的深度学习算法将数据的价值最大化，从而创造巨大的商业价值。
TensorFlow作为一个开源框架，在极短时间内迅速圈粉并已成为github.com上耀眼的明星。然而，掌握深度学习需要较强的理论功底，用好TensorFlow又需要足够的实践和解析。开源项目和代码本身固然重要，但更重要的是使用者的经验和领域知识，以及如何将底层技术或工具采用最佳实践和模式来解决现实问题。我与作者共事多年，浏览本书后深深体会到该作品是作者在谷歌多年分布式深度学习实践经验和其理论才学的浓缩，也相信这本从入门到高级实践的读物能够为每个读者带来一个精神盛宴，并帮助计算机技术从业者在各自的业务领域打开新的思路、插上新的翅膀。
——张鑫
杭州才云科技有限公司联合创始人CEO、美国卡耐基梅隆大学计算机博士

推 荐 序 2
深度学习带来的技术革命波及甚广，学术界同样早已从中受益，将深度学习广泛应用到各个学科领域。深度学习源自“古老”的神经网络技术，既标志着传统神经网络的卷土重来，也借由AlphaGo碾压人类围棋一役，开启了AI爆炸式发展的大幕。机器学习为人工智能指明道路，而深度学习则让机器学习真正落地。作为高等教育工作者，让学生了解和跟上最新技术发展的意义不言而喻。而深度学习的重要性，从近来国内外互联网巨擘对未来的展望中可见端倪——在深度学习照耀下的人工智能技术，毫无疑问是下一个时代的主角和支柱。
然而，目前深度学习的相关资料，尤其是像TensorFlow这种引领未来趋势的新技术的学习资料，普遍存在明显缺憾。
其一，中文资料非常少，而且信息零散、不成系统。这篇文章里讲一个算法，那个博客里介绍一个应用，很难让学生形成一个完整的、全局的概念体系。
其二，已有的深度学习资料大多偏重理论，对概率、统计等数学功底有很高的要求，不易激发学生的兴趣。
而这些现存问题，也正是我对泽宇这部著作寄予厚望的原因——这是一本非常适合高校学生走近深度学习的入门读物。因为它从实际问题出发，可以激发读者的兴趣，让读者可以快速而直观地享受到解决问题的成就感。同时，此书理论与实践并重，既介绍了深度学习的基本概念，为更加深入地研究深度学习奠定基础；又给出了具体的TensorFlow样例代码，让读者可以将学习成果直接运用到实践中。
我非常相信也衷心希望，有志参与深度学习未来大潮的莘莘学子，能凭借此书更快速、更扎实地开启深度学习之旅，并通过TensorFlow来实现深度学习常用算法，从而登堂入室，最终成为AI的真正驾驭者。
——张铭
北京大学信息科学技术学院教授

序
2017年初，我曾为本书第1版写过一篇“推荐序”。后来郑泽宇邀请我共同完成第2版的写作，我从读者变成了作者，又有了许多新的感受。因此我想借着重新写序的机会，跟读者分享一下写作第2版的心路点滴。我在自然语言处理领域工作多年，这次负责撰写第9章自然语言处理的相关内容，本以为会是得心应手，然而事实上，写作的过程远比我想象中困难得多。最困难的地方在于，写作进行的时候无法及时得到读者的反馈，不能把握读者的心声——理论部分介绍多少比较合适？关于语料预处理的内容会不会令读者感到枯燥？模型的实现应该使用基本模块来搭建还是直接调用TensorFlow中的库？注意力机制有那么多变体，到底应该介绍哪一个才符合读者的期望？这些都是我在写作过程中反复思考的问题。最后书中呈现的内容，大致是我认真揣测读者的心思后，想到的在特定领域搭建应用时所要用到的最精简的知识。希望这些知识能为读者进一步学习和实践打下良好的基础。
TensorFlow的库非常丰富。除了基础的网络结构之外，很多最新的研究成果都会被迅速提交到TensorFlow的库中。而为了提供最大的灵活度，每一个结构又常常提供许多配置参数。如果将这些库、参数都一一列出，那么本书无异于一本枯燥的API说明文档，这是我们不希望看到的。因此我们本着只介绍API中最实用、最核心部分的原则，希望能帮助读者快速上手。同时我们鼓励读者多多查阅官方文档，也许你想实现的某个功能已经包含在TensorFlow官方库中了。
在这里，我想感谢郑泽宇的邀请，让我全心投入，感受到了写书的乐趣与不易，于我自己也是一个巨大的提升。还要感谢我的同事高勤和江鹏在写作过程中为我提供的宝贵意见。同时，衷心感谢在本书第1版的官方网站上留言的热心读者们，你们的建议成就了更好的第2版内容。希望读者们继续多提建议，包括希望看到哪些内容可以更详细、更深入，哪些内容可以精简，以及未来版本可以加入哪些内容等。读者们的支持永远是我们持续改进的动力！
——梁博文  
2017年12月

前    言
“深度学习”这个词在过去的一年之中已经轰炸了媒体、技术博客甚至朋友圈。这也许正是你会读到本书的原因之一。数十年来，人工智能技术虽不断发展，但像深度学习这样在学术界和工业界皆具颠覆性的技术实在是十年难遇。可惜的是，理解和灵活运用深度学习并不容易，尤其是其复杂的数学模型，让不少感兴趣的同学很快“从入门到放弃”。在本书第1版前，很难找到从实战出发的深度学习和TensorFlow参考书，这也是笔者在工作之余熬夜撰写这本书的动力。笔者本人作为一枚标准码农、创业党，希望这本书能够帮助码农和准码农们绕过深度学习复杂的数据公式，快速上手深度学习，解决工作、学习中的实际问题。
2016年初，笔者和小伙伴们从美国谷歌辞职，回到祖国并在杭州联合创办了才云科技（Caicloud.io），为企业提供人工智能平台和解决方案。回国之初，很多企业对于TensorFlow都显示出了浓厚的兴趣，然而在深度交流之后，发现TensorFlow虽然是一款非常容易上手的工具，但是深度学习的技术并不是每一家企业都能掌握的。为了让更多的人和企业可以享受到深度学习技术带来的福利，笔者与电子工业出版社的张春雨编辑一拍即合，开始了本书的撰写工作。
使用TensorFlow实现深度学习是本书介绍的重点。本书将从TensorFlow的安装开始，依次介绍TensorFlow的基本概念、使用TensorFlow实现全连接深层神经网络、卷积神经网络和循环神经网络等深度学习算法，以及TensorFlow并行化输入数据处理流程、TensorBoard可视化工具、TensorFlow高层封装、带GPU的分布式TensorFlow使用方法。在介绍使用TensorFlow实现不同深度学习算法的同时，也介绍了这些算法背后的理论，并列举了这些算法可以解决的具体问题。本书避开了枯燥复杂的数学公式，从实际问题出发，在实践中介绍深度学习的概念和TensorFlow的用法。
本书第1版出版之后，笔者收到了广大读者的踊跃来信。信中既充分肯定了第1版对他们学习TensorFlow和深度学习的帮助，又提出了对更新TensorFlow版本和其他新内容的期待，这正是笔者开始撰写第2版的强大动力。第1版中大部分示例都是与计算机视觉相关的，为了更好地介绍与自然语言处理相关的内容，笔者特别邀请了在Google翻译组工作了5年的梁博文来撰写这部分内容。第2版中将有专门的一个章节介绍语言模型、Seq2Seq模型、注意力（attention）模型等自然语言应用。
TensorFlow是一个飞速发展的工具。第1版在写作时的最新版本为0.9.0，然而到第1版出版时，谷歌已经推出了TensorFlow的第一个正式版1.0.0。相比第1版中使用的TensorFlow 0.9.0，TensorFlow 1.0.0以后的版本对API也进行了大量调整，之前的大量示例代码已经无法正常运行。第2版在更新示例API版本的同时，对TensorFlow 0.9.0之后推出的重要新功能也进行了详细介绍，希望能够帮助读者更好地使用TensorFlow。
为了让广大读者更好地理解和使用书中的示例代码，我们为大家提供了一个完全公开的GitHub代码库来维护TensorFlow不同版本的示例程序。该代码库的网址为https://github.com/caicloud/tensorflow-tutorial。笔者衷心地希望各位读者能够从本书中获益，这也是对我们最大的支持和鼓励。对于书中出现的任何错误或者不准确的地方，欢迎大家批评指正，并发送邮件至zeyu@caicloud.io。
读者也可以登录博文视点官网http://www.broadview.com.cn，下载本书代码或提交勘误信息。一旦勘误信息被作者或编辑确认，即可获得博文视点奖励积分，用于兑换电子书。读者可以随时浏览图书页面，查看已发布的勘误信息。
致谢
在此我要特别感谢为此书做出贡献的每一个人。
首先，我要感谢所有的读者。在第1版出版之后，我收到了大量的读者来信。这些信中表达了对本书内容的喜爱，同时也给出了非常多的宝贵建议。广大读者的支持和鼓励正是我完成第2版的最大动力。在此，我再次感谢每一位读者，希望第2版中更多的干货值得大家投入宝贵的精力去阅读。
其次，我要感谢加入第2版写作的作者梁博文。在繁重的Google日常工作的同时，梁博文经常深夜撰写自然语言处理的相关内容并调试示例代码，非常辛苦。正是因为梁博文的辛勤付出，才让第2版中的内容更加全面。
最后，我要再次感谢在第1版写作过程中给予过我大力支持的所有人。没有他们的支持也就没有这本书的诞生——
在紧张的创业之余，才云科技CEO张鑫给了我极大的支持和鼓励，让我有足够的时间投入到此书第1版的撰写工作中。
我也要感谢我的妻子温苗苗以及我的父母、岳父岳母，没有他们一直以来的支持和帮助，我不可能完成此书的写作。每当遇到困难的时候，长辈们的鼓励是我前进的最大动力。
最后，我还要感谢所有为本书付出心血的电子工业出版社的编辑们。无论在本书的定位，还是在具体的文字推敲、编辑加工、版式设计上，张春雨、刘佳禾和孙奇俏都给予了巨大的帮助。
——郑泽宇  
2017年12月

人工智能

郑泽宇，2011年获北京大学计算机学士学位，2013年获卡内基梅隆大学计算机硕士学位，前谷歌高级工程师，现为才云科技(Caicloud.io)联合创始人、首席大数据科学家。针对分布式TensorFlow上手难、管理难、监控难、上线难等问题，带领团队成功开发国内首个成熟的分布式TensorFlow深度学习平台，在机器学习、人工智能领域有着丰富的经验。__eol____eol__梁博文，谷歌工程师。2011年获北京大学计算机学士学位，2013年获哥伦比亚大学计算机硕士学位，同年加入谷歌翻译组，参与并领导了多个项目，负责了3个语言的翻译模型的研发工作，在自然语言处理方面有丰富经验，在统计翻译模型、神经网络翻译模型、语料数据清洗等方面均有深入研究。

√ 前谷歌专家、现Tensorflow创业新贵，新版力邀现谷歌专家加盟，共话新版核心技术与前沿案例。__eol__√ 本书前版作为业界首著伴随Tensorflow火遍全球，旨在面向生产|商业场景，彻底贯通原理|实践。__eol__√ 深入原理|走访主创|结合真实项目，AI、ML团队争相赞誉力荐，与Tensorflow一道成为事实标准。__eol__√ 代码全面升级为1.4+版，重点关注新版功能，增设专题论述TF高层封装和深度学习自然语言应用。

本书配套资源下载

对不起，暂无音视频资源！

TensorFlow：实战Google深度学习框架（第2版）