一文看尽 TensorFlow“奋斗史”!|CSDN 博文精选

新鬼子

4 h) U, j% V# h6 W# M6 t! e

& c& B7 e( g3 X- _6 ^8 u/ U. T; l作者 | 小宋是呢，CSDN 博客专家
本文精选自 CSDN 博客
  j7 C+ f' [! ]9 J封图 | CSDN 付费下载自东方 IC

序篇

7 u# n( v8 [# V6 G
: z/ v9 I4 q  V4 q6 {0 I4 S- H2015 年 11 月，Google 正式发布了 Tensorflow 的白皮书并开源 TensorFlow 0.1 版本。
8 P/ k/ G% Z) ]3 {  F2017 年 02 月，Tensorflow 正式发布了 1.0.0 版本，同时也标志着稳定版的诞生。
2019 年 10 月，TensorFlow 在经历七个多月(2019 年 3 月 1 日 -2019 年 10 月 1 日)的 2.0 Alpha 版本的更新迭代后，发布 2.0 正式版。
8 D- r) G; _; @; V9 g
0 d0 V. j/ x' j% A1 g& N  K2.0 正式版官方介绍视频
虽然 2.0 正式版才刚刚发布，就已经引起了学术界与科研界广泛关注与好评：

• Google 深度学习科学家以及 Keras 的作者表示，TensorFlow 2.0 是一个新时代的机器学习平台，这将改变了一切。
  
• 深度学习研究和教育者、fast.ai 创始人 Jeremy Howard 也称赞 2.0 版本的发布是”令人兴奋的一步，与 TensorFlow 一代相比是一个巨大的飞跃“。
  + L2 O3 T: C1 n( K$ _
• 目前 GitHub 上排名第一的 NLP 机器学习课程 practicalAI 的作者以及苹果公司 AI 研究员 Goku Mohandas 在推特上说，他们正在从 PyTorch 转向 TensorFlow 2.0。
  

为什么 TensorFlow 2.0 的发布能够引发了广泛的讨论和关注？下面笔者通过对于 TensorFlow“奋斗史”介绍与解读来分析 TensorFlow 如何成就的王霸之路。
: ?) L0 o# m6 K  Y. w8 wTensorFlow 的“奋斗史”包括三个章节：锋芒初露（0.1），中原逐鹿（1.0），王者归来（2.0）。
4 u& ~0 C2 w. _3 c0 H" S! @

锋芒初露·源起

- {3 q! ?* c# R) m
在 2011 年，Google Brain 内部孵化出一个项目叫做 DistBelief，它是为深度神经网络构建的一个机器学习系统。虽然这个著名的系统并没有开源，但是 Google 研究者有大量关于它设计的论文被大家所熟知，它也被广泛应用于 Google 内部的科研和商业产品中。这个项目最早可以追溯到 2009 年，由 Geoffery Hinton 带领的团队开发的一个实现了广义反向传播算法的框架，基于这个框架，Google 内部可以快速试验新的深度学习算法并提高算法精度。比如在使用这套框架后，Google 内部语音识别的错误率降低了 25%。
  u$ O5 W$ ]7 u; r后来，Google 决定将 DistBelief 打造成更加稳健、快速、通用的机器学习框架，调动了相当多的工程师和科学家投入到对 DistBelief 的改造，这其中就包括大名鼎鼎的 Jeff Dean。有了这样的豪华开发阵容，DistBelief 迅速成熟蜕变，成为一个高鲁棒和工业级的机器学习框架，这就是后来于 2015 年 11 月发布的 TensorFlow 0.1 版。
虽然相较于较早开源的 Caffe、MXNet 等优秀的机器学习框架，TensorFlow 还略显年轻，但是作为 Google 内部的第二代机器学习框架，TensorFlow 有了更加有趣的灵魂。相较于侧重于卷积的 Caffe 与刚从校园走出来的 MXNet，TensorFlow 以更加成熟完备的姿态展露锋芒。它是基于 DataFlow 的计算模型，算子相组合形成一个计算图，计算的过程就是数据在这个计算图的节点进行计算并流动。同时，这个计算图可以被切成不同的子图，并分配到不同的 Device 上，包括 CPU、GPU 和其他的计算设备，这样天然地对分布式友好。此外，TensorFlow 从一开始就被设计成运行在多个平台上，如 inference 可以运行在 iOS 和 Android 设备上，训练则可以运行在不同的硬件设备上。
2016 年 4 月 14 日，Google 发布了分布式 TensorFlow，版本号为 0.8，这是 TensorFlow 发布之后的比较重大的版本更新。Google 的博文介绍了 TensorFlow 在图像分类的任务中，在 100 个 GPUs 和不到 65 小时的训练时间下，达到了 78%的正确率。在激烈的商业竞争中，更快的训练速度是人工企业的核心竞争力。而分布式 TensorFlow 意味着它能够真正大规模进入到人工智能产业中，产生实质性影响。
8 @& ?6 f' X8 w- q: M$ e' o& R- s在 2016 年 6 月，TensorFlow 发布了新版本的早期版本，版本号为 0.9，增加了对 iOS 的支持。随着谷歌增加了 TensorFlow 对 iOS 的支持，应用程序将能够在更聪明的功能集成到它们的应用程序，最终使它们更聪明和能干。

* N: y7 c. r0 t7 e) u1 E6 v# j$ u从 0.9 版本开始，TensorFlow 支持了多平台，并且进入高速发展时期，开始不断赶超并拉开与其他深度学习框架的距离。虽只是源起，却锋芒毕露，初现王霸之气。
' Y& y) Q9 a/ S6 Z5 u" {1 N! ~

* |3 P- M- ]7 x

中原逐鹿·盛极

9 ]9 `9 V1 F& ~+ X4 U+ \/ q
. x$ j# L1 e- m- y+ ]时间到了，2017 年 1 月初，谷歌公布了 TensorFlow 1.0.0-alpha ，即 TensorFlow 1.0 的第一个“草稿”版本。2017 年 2 月，TensorFlow 在发布了 1.0.0 版本，也标志着稳定版的诞生。
与已有版本相比，全新的 TensorFlow 1.0 主要有以下改进：
7 {7 c1 f3 }2 J% T8 N

• 更快：TensorFlow 1.0 超乎想象地快！TensorFlow 1.0 为未来更多的性能改进打下了基础，而 tensorflow.org 现在可提供模型优化的提示和技巧，以达到最高速度。
  4 t. @: L# H% `& @% N
• 更灵活：TensorFlow 1.0 为 TensorFlow 引进了带有 tf.layers，tf.metrics 和 tf.losses 模块的高级别应用程序界面。TensorFlow 团队引进能够与 Keras 完全兼容的新 tf.keras 模块。
  $ q2 B; m/ E, x5 Y& v& b3 Q
• 随时就绪：TensorFlow 1.0 可确保 Python 应用程序界面的稳定性 Python 能够在不打破现有代码的情况下，更容易地获取新功能。
  # N* e: X9 U, i* y5 k

1.0 版本不仅为 TensorFlow 机器学习函数库带来多重升级，而且为 Python 和 Java 用户使用 TensorFlow 做开发降低了难度。另外，新版本的修补也得到了改善。更有意思的是，由于对 TensorFlow 计算做优化的新编译器，在智能手机上运行基于 TensorFlow 的机器学习 APP 将成为可能。Tensorflow 它已成为 GitHub 最受欢迎的开源项目。
! M5 v5 c2 K0 k( A7 W下图是 KDnuggets 网站对 2018 年的机器学习框架的使用做的一个调查统计，可以看出当时 TensorFlow 已经遥遥领先于其他竞争（Keras 是一个上层封装，底层调用的还是 TensorFlow），奠定了其深度学习霸主的地位。
' M7 A3 R; `% j& _; }; \. h
3 n+ E" J& i# {% G中国有句古话：盛极必衰，否极泰来，这句话对于 Google 的 TensorFlow 也同样适用。1.x 版本在高速发展过程中，也为自己后来发展筑起一道山，TensorFlow 也产生了很多被人诟病的地方，比如 API 的稳定性、效率和基于静态计算图的编程上的复杂性等。同时，坚持静态图模式也培养起来了足以撼动 TensorFlow 霸主地位的框架（上述图中默默无闻的第三名，后来强势崛起的 PyTorch）。
: z1 k4 U3 d: D- L' a/ Q1.x 版本后期，TensorFlow 发展由于自身原因（1. 为自己后来发展筑起一道山 2.坚持静态图模式）遭遇到瓶颈。PyTorch 以动态图开发模式，统一化的模块命名方式，更加人性化的编程的方式（Pythonic），强势出道。这些优势无一不击中 TensorFlow 的痛点，不断追赶、威胁 TensorFlow 霸主地位。
. n3 O" C2 l, @  y2 q/ m9 Q下图通过搜索全世界对机器学习和人工智能类别的兴趣（Google Interest），采用过去六个月的平均兴趣分数，并将其与前六个月的平均兴趣分数进行了比较。可以看出，TensorFlow 的平均兴趣分数处于下降状态，PyTorch 却呈上升趋势。

下面谷歌的图表显示了过去一年的搜索兴趣。TensorFlow 为蓝色，Keras 为黄色，PyTorch 为红色，fastai 为绿色。可以看出 TensorFlow 总体呈现下降趋势，而 PyTorch 却呈现持续增长姿态，不断缩小与 TensorFlow 的距离。

3 E. J; p8 r# i/ H- u' O0 k按这样的趋势，PyTorch 在用户搜索兴趣方面追赶上 TensorFlow 指日可待了，TensorFlow 遭遇到出生以来最大的挑战（其实 TensorFlow 也就才三岁多）。TensorFlow 会如何应对这个挑战呢？是按部就班，在 1.x 版本上进行小修小补，得过且过（这个词用得有些过了，之所以会用是刚好写到这里的时候听到这首歌，同时这个词语与表达笔者对上述方法的不苟同）；还是推倒重来，重新设计新版 TensorFlow，涅槃重生。这个选择会关乎到以后 TensorFlow 数年的发展和与 PyTorch 竞争的成败。笔者相信，Google 并不会做选择，小孩才会做选择，大人全都要。以谷歌的巨大体量，在内部执行两个方案，最后看市场反馈推出最合适的。Google 是大公司，以稳为主的策略还是很容易让人理解的。
$ R  e& f4 b$ D" m* S# L
6 A6 m5 L% V+ O* e) J3 Q7 p

% w  w7 F& Y! y, C1 G* G, H. A王者归来·槃涅

0 a8 Z1 s8 N2 O( r$ P8 r. D
我们都知道 Google 推出了后者方案，选择涅槃重生，重塑自身。那么全新的 TensorFlow 2.0 究竟新在哪里呢？TensorFlow 官网给出了答复：

• Keras 与 TensorFlow 紧密集成，默认 eager execution，执行 Pythonic 函数。官方表示，对开发者来说，TensorFlow 2.0 用起来跟 Python 差不多；对于研究者来说，新框架也在低级 API 方面进行了重点投入。
  
• 为了在各种平台上运行，SavedModel 文件格式进行了标准化。
  - R1 S" ~: a. ]0 H) G/ R
• 针对高性能训练场景，可以使用 Distribution Strategy API 进行分布训练，且只需进行少量代码修改就能获得出色的性能。支持 Keras Model.fit、自定义训练循环、多 GPU 等等。
  - W6 p" b# p+ k) r- w) U9 ]
• TensorFlow 2.0 提高了在 GPU 上的性能表现。以 ResNet-50 和 BERT 为例，只需要几行代码，混合精度使用 Volta 和 Turing GPU，训练表现最高可以提升 3 倍。
  
• 新增 TensorFlow Datasets，为包含大量数据类型的大型数据集提供了标准接口。
  
• 虽然保留了传统的基于 Session 的编程模型，但官方现在建议使用 eager execution 进行常规的 Python 开发。tf.function 装饰器可以把代码转换成可以远程执行、序列化、性能优化的图。在 Autograph 的帮助下，能把常规的 Python 控制流直接转成 TensorFlow 控制流。
  , ?9 ~5 W. B8 B9 I
• 官方提供了 TensorFlow 1.x 升级 2.0 的迁移指南，TF2.0 还有一个自动转换的脚本。
  7 y6 U9 ~: V2 \3 T( \
• TensorFlow 2.0 提供了易用的 API，能够灵活快速的实现新想法。模型的训练和 serving 也已经无缝集成在基础架构中。
  7 [. Y/ n$ g' M, h
• 更多关于 TensorFlow 2.0 的信息，可以访问官网：https://www.tensorflow.org/
  

几乎每一条都直击 TensorFlow1.x 用户的痛点，广大使用 TensorFlow1.x 转到 PyTorch 的用户表示 TensorFlow 2.0 真香，纷纷倒戈。
Google 深度学习科学家以及 Keras 的作者表示，TensorFlow 2.0 是一个新时代的机器学习平台，这将改变了一切。
/ d( R7 X5 q7 ^8 j# l2 c深度学习研究和教育者、fast.ai 创始人 Jeremy Howard 也称赞 2.0 版本的发布是“令人兴奋的一步，与 TensorFlow 一代相比是一个巨大的飞跃”。
! {- _7 ^, ?' h  ~% q- v6 Z( G% b目前 GitHub 上排名第一的 NLP 机器学习课程 practicalAI 的作者以及苹果公司 AI 研究员 Goku Mohandas 在 Twitter 上说，他们正在从 PyTorch 转向 TensorFlow 2.0。
此后，PyTorch 在与 TensorFlow 的争霸中将再难有胜算，TensorFlow 1.x 版本的失误给了 PyTorch 赶超的机会，PyTorch 已尽力追赶了，但是还是没有实现赶超。Now，TensorFlow 2.0 已经补全缺点，同时具备比 PyTorch 更加完备的多平台支持、更成熟的部署方式与数量巨大的用户基数。如果 PyTorch 早出生一年，或者 TensorFlow 2.0 晚发布一年，PyTorch 还是有机会的，但是没有如果，Google 依旧是最强大科技公司之一，很难反复给对手机会赶超。TensorFlow 再次呈现对于其他框架压倒式优势，实现王者归来。
. B  J$ }# j8 e( w. l% J6 A5 l

终章
8 w7 I* D" N' ~3 S


7 g: \. \' M/ k! z: s" @1 ?TensorFlow 从最开始 0.1 版本诞生时受到广泛关注，到 1.0 版本的全面爆发，再到今年 2.0 版本正式发布，它已趋于完美。TensorFlow 的成长依托于 Google 的强大研发与号召力，但 TensorFlow 的成功更归功于设计的完备性、审时度势和适时革新。
经历四年时光，TensorFlow 的发展与成功离不开先天的优秀天赋（Google Brain），更有赖于后天的努力拼搏（适时革新）。有天分又有努力，TensorFlow 的成功理所应当。
附：
想要体验正式版本 TensorFlow 2.0 可以访问=>『TensorFlow2.0 正式版教程』极简安装 TF2.0 正式版（CPU&GPU）教程：
3 u# M  u  O4 X6 A/ y' K3 Y  U" e& ohttps://xiaosongshine.blog.csdn.net/article/details/101844926
! I' u" A! M2 w7 n; T% n5 Y) G. a扫描下方二维码，下载 CSDN App，即刻与博主互动起来！

【END】

1 Q2 D* L2 z" j, A$ g+ W4 a6 u 热 文 推 荐 
☞ 蚂蚁金服自研数据库打败Oracle拿下世界第一；三星手机全面退出中国；微软发布Windows 10X双屏系统 | 极客头条☞ 中国物联网激荡 20 年！
☞ 鸿蒙 OS 的微内核技术究竟是什么？☞ 200 行代码解读国产数据库阿里 OceanBase 的速度源头！| CSDN 博文精选
; q2 f" Z% [' o9 m+ g☞ 程序员 45 岁怎么了？！☞对比C++和Python，谈谈指针与引用☞肖仰华：知识图谱构建的三要素、三原则和九大策略 | AI ProCon 2019☞以太坊交易量第一合约FAIRWIN被爆漏洞, 竟是因为这个接口被滥用……点击阅读原文，即刻与博主互动起来。
( j; \; ^, {5 D0 B2 @3 Z7 H/ j你点的每个“在看”，我都认真当成了喜欢
  U! h; @3 E$ ^- F' S7 c2 x来源：http://mp.weixin.qq.com/s?src=11&timestamp=1570273204&ver=1894&signature=wbyR5eEK5ZNuCYUNykmgSbu7lZdav7yVeotRnfrhvE*aLGBype63FQP9YgT5B2PjfShoStsKB9izwIC-OLC2YyqInaVXUYykzxGSKYW*HJypZrly6mkJ98trZtQEPJrN&new=1
6 z. e5 {( t4 Y% z/ N1 E免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！