京东6.18大促主会场领京享红包更优惠

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 6792|回复: 0

一文看尽 TensorFlow“奋斗史”!|CSDN 博文精选

[复制链接]

9

主题

0

回帖

10

积分

新手上路

积分
10
发表于 2019-10-5 19:44:29 | 显示全部楼层 |阅读模式 来自 中国

1 ]0 t# q: N, h- I/ y( B
3 X: x( G2 F0 v% R$ B
作者 | 小宋是呢,CSDN 博客专家4 C5 Z9 s. a; I4 F
本文精选自 CSDN 博客
% m& m' {' T0 w2 X8 K封图 | CSDN 付费下载自东方 IC, U2 ]: E+ {% l- ~+ }% A. R
9 f- W  W% J& ?( e
4 v# i4 D' t0 p, U$ ]

: o! G( Z# N8 Q4 d, z序篇
* F. ]/ I9 L6 J+ i' J: q% c$ y
+ F( a& \2 \, |
3 C" L# b, h( q$ T% E' l
2015 年 11 月,Google 正式发布了 Tensorflow 的白皮书并开源 TensorFlow 0.1 版本。' B: \" n4 B. z$ g3 v5 T8 L
2017 年 02 月,Tensorflow 正式发布了 1.0.0 版本,同时也标志着稳定版的诞生。
- [# V7 Q9 p5 y- ]6 L; \1 J2019 年 10 月,TensorFlow 在经历七个多月(2019 年 3 月 1 日 -2019 年 10 月 1 日)的 2.0 Alpha 版本的更新迭代后,发布 2.0 正式版。6 a. }! I4 M0 D/ U* a+ t
- I  z# M" W2 B
2.0 正式版官方介绍视频
4 y  d1 @# }  q/ z: M8 [6 ]虽然 2.0 正式版才刚刚发布,就已经引起了学术界与科研界广泛关注与好评:7 O& L6 O! h  Z2 I

    * g: Y& Z2 n6 f& u0 c$ j  q1 ~# Q# A
  • Google 深度学习科学家以及 Keras 的作者表示,TensorFlow 2.0 是一个新时代的机器学习平台,这将改变了一切。+ T& l3 y* ~7 \3 j
  • 深度学习研究和教育者、fast.ai 创始人 Jeremy Howard 也称赞 2.0 版本的发布是”令人兴奋的一步,与 TensorFlow 一代相比是一个巨大的飞跃“。$ Q$ G% K6 x" S: |$ d
  • 目前 GitHub 上排名第一的 NLP 机器学习课程 practicalAI 的作者以及苹果公司 AI 研究员 Goku Mohandas 在推特上说,他们正在从 PyTorch 转向 TensorFlow 2.0。0 m3 @) V' z0 Q: p& C* H  v
为什么 TensorFlow 2.0 的发布能够引发了广泛的讨论和关注?下面笔者通过对于 TensorFlow“奋斗史”介绍与解读来分析 TensorFlow 如何成就的王霸之路。$ B  R* ~" a3 f2 z: l
TensorFlow 的“奋斗史”包括三个章节:锋芒初露(0.1),中原逐鹿(1.0),王者归来(2.0)。: X: u. m6 e4 T/ `* t4 g) O2 l& n+ j

4 a) o* \" D8 U4 s

2 G/ U% _- O& e7 p2 z& e

" T0 |1 p" Q" M1 S, Q/ R锋芒初露·源起
9 }2 ]3 Q+ m( j1 U0 o
/ v* D1 k" a" Z. z
! P: {8 f8 \: c
在 2011 年,Google Brain 内部孵化出一个项目叫做 DistBelief,它是为深度神经网络构建的一个机器学习系统。虽然这个著名的系统并没有开源,但是 Google 研究者有大量关于它设计的论文被大家所熟知,它也被广泛应用于 Google 内部的科研和商业产品中。这个项目最早可以追溯到 2009 年,由 Geoffery Hinton 带领的团队开发的一个实现了广义反向传播算法的框架,基于这个框架,Google 内部可以快速试验新的深度学习算法并提高算法精度。比如在使用这套框架后,Google 内部语音识别的错误率降低了 25%。! I" }; G+ Z* D- _. P3 U- b2 j
后来,Google 决定将 DistBelief 打造成更加稳健、快速、通用的机器学习框架,调动了相当多的工程师和科学家投入到对 DistBelief 的改造,这其中就包括大名鼎鼎的 Jeff Dean。有了这样的豪华开发阵容,DistBelief 迅速成熟蜕变,成为一个高鲁棒和工业级的机器学习框架,这就是后来于 2015 年 11 月发布的 TensorFlow 0.1 版。: S! K: ^' @* N" g/ @
虽然相较于较早开源的 Caffe、MXNet 等优秀的机器学习框架,TensorFlow 还略显年轻,但是作为 Google 内部的第二代机器学习框架,TensorFlow 有了更加有趣的灵魂。相较于侧重于卷积的 Caffe 与刚从校园走出来的 MXNet,TensorFlow 以更加成熟完备的姿态展露锋芒。它是基于 DataFlow 的计算模型,算子相组合形成一个计算图,计算的过程就是数据在这个计算图的节点进行计算并流动。同时,这个计算图可以被切成不同的子图,并分配到不同的 Device 上,包括 CPU、GPU 和其他的计算设备,这样天然地对分布式友好。此外,TensorFlow 从一开始就被设计成运行在多个平台上,如 inference 可以运行在 iOS 和 Android 设备上,训练则可以运行在不同的硬件设备上。: c+ B# I- r; D2 V# i, w9 H
2016 年 4 月 14 日,Google 发布了分布式 TensorFlow,版本号为 0.8,这是 TensorFlow 发布之后的比较重大的版本更新。Google 的博文介绍了 TensorFlow 在图像分类的任务中,在 100 个 GPUs 和不到 65 小时的训练时间下,达到了 78%的正确率。在激烈的商业竞争中,更快的训练速度是人工企业的核心竞争力。而分布式 TensorFlow 意味着它能够真正大规模进入到人工智能产业中,产生实质性影响。
& j; \+ a# w. [' r在 2016 年 6 月,TensorFlow 发布了新版本的早期版本,版本号为 0.9,增加了对 iOS 的支持。随着谷歌增加了 TensorFlow 对 iOS 的支持,应用程序将能够在更聪明的功能集成到它们的应用程序,最终使它们更聪明和能干。
2 a" e: K! C4 {0 a1 m+ B* e$ R% u9 w) w# _0 B  m
从 0.9 版本开始,TensorFlow 支持了多平台,并且进入高速发展时期,开始不断赶超并拉开与其他深度学习框架的距离。虽只是源起,却锋芒毕露,初现王霸之气。
3 j4 k- t/ U8 R3 l4 i. L. n# f* Q* S. G& H! F6 l* [  `' G- e: h

, Z* F2 _( L" R; I( o
2 m4 Z/ M7 [+ E0 n5 v6 X
中原逐鹿·盛极
) a0 v9 G3 F# U8 l5 U
! A; q' F7 H8 j, H' k. N. J! e! i

. m' G7 Y/ Y: H1 [时间到了,2017 年 1 月初,谷歌公布了 TensorFlow 1.0.0-alpha ,即 TensorFlow 1.0 的第一个“草稿”版本。2017 年 2 月,TensorFlow 在发布了 1.0.0 版本,也标志着稳定版的诞生。  R, V6 B. Z9 R# ~
与已有版本相比,全新的 TensorFlow 1.0 主要有以下改进:
1 W- e; b% n! ^6 r

    3 O# k/ O  u' V4 @' l: t  A4 B
  • 更快:TensorFlow 1.0 超乎想象地快!TensorFlow 1.0 为未来更多的性能改进打下了基础,而 tensorflow.org 现在可提供模型优化的提示和技巧,以达到最高速度。! C3 z5 i# U7 Z, p0 _
  • 更灵活:TensorFlow 1.0 为 TensorFlow 引进了带有 tf.layers,tf.metrics 和 tf.losses 模块的高级别应用程序界面。TensorFlow 团队引进能够与 Keras 完全兼容的新 tf.keras 模块。
    ' F6 n) H, x7 i6 w3 N% C$ y
  • 随时就绪:TensorFlow 1.0 可确保 Python 应用程序界面的稳定性 Python 能够在不打破现有代码的情况下,更容易地获取新功能。* S+ D8 ?' V  d0 c
1.0 版本不仅为 TensorFlow 机器学习函数库带来多重升级,而且为 Python 和 Java 用户使用 TensorFlow 做开发降低了难度。另外,新版本的修补也得到了改善。更有意思的是,由于对 TensorFlow 计算做优化的新编译器,在智能手机上运行基于 TensorFlow 的机器学习 APP 将成为可能。Tensorflow 它已成为 GitHub 最受欢迎的开源项目。' t, n/ @( g4 i
下图是 KDnuggets 网站对 2018 年的机器学习框架的使用做的一个调查统计,可以看出当时 TensorFlow 已经遥遥领先于其他竞争(Keras 是一个上层封装,底层调用的还是 TensorFlow),奠定了其深度学习霸主的地位。
) x1 z; R7 z. a3 g
1 s2 K4 y9 {  w% |9 G+ D4 p中国有句古话:盛极必衰,否极泰来,这句话对于 Google 的 TensorFlow 也同样适用。1.x 版本在高速发展过程中,也为自己后来发展筑起一道山,TensorFlow 也产生了很多被人诟病的地方,比如 API 的稳定性、效率和基于静态计算图的编程上的复杂性等。同时,坚持静态图模式也培养起来了足以撼动 TensorFlow 霸主地位的框架(上述图中默默无闻的第三名,后来强势崛起的 PyTorch)。
7 K# H2 }. u6 |) j1.x 版本后期,TensorFlow 发展由于自身原因(1. 为自己后来发展筑起一道山 2.坚持静态图模式)遭遇到瓶颈。PyTorch 以动态图开发模式,统一化的模块命名方式,更加人性化的编程的方式(Pythonic),强势出道。这些优势无一不击中 TensorFlow 的痛点,不断追赶、威胁 TensorFlow 霸主地位。3 V9 G8 {2 T7 G& z) T( L
下图通过搜索全世界对机器学习和人工智能类别的兴趣(Google Interest),采用过去六个月的平均兴趣分数,并将其与前六个月的平均兴趣分数进行了比较。可以看出,TensorFlow 的平均兴趣分数处于下降状态,PyTorch 却呈上升趋势。- M5 _2 z8 G$ N- s

: ~! d5 c9 l% C7 I# B+ V9 V下面谷歌的图表显示了过去一年的搜索兴趣。TensorFlow 为蓝色,Keras 为黄色,PyTorch 为红色,fastai 为绿色。可以看出 TensorFlow 总体呈现下降趋势,而 PyTorch 却呈现持续增长姿态,不断缩小与 TensorFlow 的距离。
" a* g. q3 ]% j8 V2 K8 C& ]* S+ C, S* w) s' D: f0 s3 K3 J! s
按这样的趋势,PyTorch 在用户搜索兴趣方面追赶上 TensorFlow 指日可待了,TensorFlow 遭遇到出生以来最大的挑战(其实 TensorFlow 也就才三岁多)。TensorFlow 会如何应对这个挑战呢?是按部就班,在 1.x 版本上进行小修小补,得过且过(这个词用得有些过了,之所以会用是刚好写到这里的时候听到这首歌,同时这个词语与表达笔者对上述方法的不苟同);还是推倒重来,重新设计新版 TensorFlow,涅槃重生。这个选择会关乎到以后 TensorFlow 数年的发展和与 PyTorch 竞争的成败。笔者相信,Google 并不会做选择,小孩才会做选择,大人全都要。以谷歌的巨大体量,在内部执行两个方案,最后看市场反馈推出最合适的。Google 是大公司,以稳为主的策略还是很容易让人理解的。2 e) p/ n% ~. @  F: u

1 F* o  w. ^( a, N6 a# G. P

4 v  C# Z4 r1 `- z3 L3 ~

7 ^% K( e& L' V王者归来·槃涅# l0 W3 f6 @$ ^+ R" \; n
. M7 v0 s, }- W; o" Y
* ]5 }) S0 O0 F) i
我们都知道 Google 推出了后者方案,选择涅槃重生,重塑自身。那么全新的 TensorFlow 2.0 究竟新在哪里呢?TensorFlow 官网给出了答复:' F5 ]( v1 d# E4 F" Q* D" q# H* `
    6 G/ k  n( G4 l+ V/ P
  • Keras 与 TensorFlow 紧密集成,默认 eager execution,执行 Pythonic 函数。官方表示,对开发者来说,TensorFlow 2.0 用起来跟 Python 差不多;对于研究者来说,新框架也在低级 API 方面进行了重点投入。
    9 S: w5 P# J1 e0 Z, d+ n
  • 为了在各种平台上运行,SavedModel 文件格式进行了标准化。
    & [8 _4 ]& G0 B0 y$ a
  • 针对高性能训练场景,可以使用 Distribution Strategy API 进行分布训练,且只需进行少量代码修改就能获得出色的性能。支持 Keras Model.fit、自定义训练循环、多 GPU 等等。5 I4 K# `$ L1 B( b8 J) M# u4 T2 x( ^
  • TensorFlow 2.0 提高了在 GPU 上的性能表现。以 ResNet-50 和 BERT 为例,只需要几行代码,混合精度使用 Volta 和 Turing GPU,训练表现最高可以提升 3 倍。
      r# A& P& u/ k+ E
  • 新增 TensorFlow Datasets,为包含大量数据类型的大型数据集提供了标准接口。
    + o& @2 ]8 B4 I( _- o" A
  • 虽然保留了传统的基于 Session 的编程模型,但官方现在建议使用 eager execution 进行常规的 Python 开发。tf.function 装饰器可以把代码转换成可以远程执行、序列化、性能优化的图。在 Autograph 的帮助下,能把常规的 Python 控制流直接转成 TensorFlow 控制流。
    ( ?9 S! e" g. t1 `
  • 官方提供了 TensorFlow 1.x 升级 2.0 的迁移指南,TF2.0 还有一个自动转换的脚本。# G8 c- ]% ^3 [! {
  • TensorFlow 2.0 提供了易用的 API,能够灵活快速的实现新想法。模型的训练和 serving 也已经无缝集成在基础架构中。* C$ b) o, g- W4 \
  • 更多关于 TensorFlow 2.0 的信息,可以访问官网:https://www.tensorflow.org/% Q6 O7 d7 H# B# Y1 c+ y- y1 h1 h

7 f8 r5 M5 A4 m' ?, N几乎每一条都直击 TensorFlow1.x 用户的痛点,广大使用 TensorFlow1.x 转到 PyTorch 的用户表示 TensorFlow 2.0 真香,纷纷倒戈。: D0 C% o4 {( p6 ^. b
Google 深度学习科学家以及 Keras 的作者表示,TensorFlow 2.0 是一个新时代的机器学习平台,这将改变了一切。0 ^7 q9 d, k/ ^" \, q% G
深度学习研究和教育者、fast.ai 创始人 Jeremy Howard 也称赞 2.0 版本的发布是“令人兴奋的一步,与 TensorFlow 一代相比是一个巨大的飞跃”。8 p( j6 e; h1 L
目前 GitHub 上排名第一的 NLP 机器学习课程 practicalAI 的作者以及苹果公司 AI 研究员 Goku Mohandas 在 Twitter 上说,他们正在从 PyTorch 转向 TensorFlow 2.0。
: g) C1 h$ B3 z1 T此后,PyTorch 在与 TensorFlow 的争霸中将再难有胜算,TensorFlow 1.x 版本的失误给了 PyTorch 赶超的机会,PyTorch 已尽力追赶了,但是还是没有实现赶超。Now,TensorFlow 2.0 已经补全缺点,同时具备比 PyTorch 更加完备的多平台支持、更成熟的部署方式与数量巨大的用户基数。如果 PyTorch 早出生一年,或者 TensorFlow 2.0 晚发布一年,PyTorch 还是有机会的,但是没有如果,Google 依旧是最强大科技公司之一,很难反复给对手机会赶超。TensorFlow 再次呈现对于其他框架压倒式优势,实现王者归来。
# z3 y3 q+ S! S$ Z4 S4 d" |7 k& G7 b3 ^! c

* i6 K8 g- O- P0 d2 ]
. K8 I( I, Z: H1 k! D
终章- B# Q4 y6 t/ ?# c5 {, ]. v/ b; G
) x4 Y( C# B7 V& q( b  E
0 A" c, h: Y6 N7 F

$ l9 A. w4 j* {) |6 M5 o: W+ @. _9 P& PTensorFlow 从最开始 0.1 版本诞生时受到广泛关注,到 1.0 版本的全面爆发,再到今年 2.0 版本正式发布,它已趋于完美。TensorFlow 的成长依托于 Google 的强大研发与号召力,但 TensorFlow 的成功更归功于设计的完备性、审时度势和适时革新。0 r! H, c* x) p, F9 T0 C
经历四年时光,TensorFlow 的发展与成功离不开先天的优秀天赋(Google Brain),更有赖于后天的努力拼搏(适时革新)。有天分又有努力,TensorFlow 的成功理所应当。; j) N4 t$ U5 Q7 W6 _. O
附:
9 G  L) `' ^7 A/ d, t. _( n想要体验正式版本 TensorFlow 2.0 可以访问=>『TensorFlow2.0 正式版教程』极简安装 TF2.0 正式版(CPU&GPU)教程:# u# W6 p. Y% b/ L5 k! k
https://xiaosongshine.blog.csdn.net/article/details/101844926  \2 E9 n8 l% ~: X- O3 c/ Z
扫描下方二维码,下载 CSDN App,即刻与博主互动起来!
3 Y0 F9 ]) y4 a) O6 c& L9 b! u/ r
  L+ C( E' q- j3 N3 y
【END】, D' L( z- a- p/ y5 b

- ]. M3 c, T% ]: U8 y( M. @5 U 热 文 推 荐 5 ?* P/ z+ ^  X
☞ 蚂蚁金服自研数据库打败Oracle拿下世界第一;三星手机全面退出中国;微软发布Windows 10X双屏系统 | 极客头条☞ 中国物联网激荡 20 年!& ]  {* b. c5 V. R/ S
☞ 鸿蒙 OS 的微内核技术究竟是什么?☞ 200 行代码解读国产数据库阿里 OceanBase 的速度源头!| CSDN 博文精选
8 E6 B0 I$ z  T/ E8 ~& l6 p☞ 程序员 45 岁怎么了?对比C++和Python,谈谈指针与引用肖仰华:知识图谱构建的三要素、三原则和九大策略 | AI ProCon 2019以太坊交易量第一合约FAIRWIN被爆漏洞, 竟是因为这个接口被滥用……点击阅读原文,即刻与博主互动起来。7 `1 h' o- E# ~# R/ C$ V- u9 [
你点的每个“在看”,我都认真当成了喜欢; ^6 |3 [5 {1 n# E" r; a7 E
来源:http://mp.weixin.qq.com/s?src=11&timestamp=1570273204&ver=1894&signature=wbyR5eEK5ZNuCYUNykmgSbu7lZdav7yVeotRnfrhvE*aLGBype63FQP9YgT5B2PjfShoStsKB9izwIC-OLC2YyqInaVXUYykzxGSKYW*HJypZrly6mkJ98trZtQEPJrN&new=1
7 B4 T9 X: t+ F. G7 k3 y免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

帖子地址: 

梦想之都-俊月星空 优酷自频道欢迎您 http://i.youku.com/zhaojun917
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /6 下一条

QQ|手机版|小黑屋|梦想之都-俊月星空 ( 粤ICP备18056059号 )|网站地图

GMT+8, 2025-7-7 00:26 , Processed in 0.051371 second(s), 28 queries .

Powered by Mxzdjyxk! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表