京东6.18大促主会场领京享红包更优惠

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 6796|回复: 0

一文看尽 TensorFlow“奋斗史”!|CSDN 博文精选

[复制链接]

9

主题

0

回帖

10

积分

新手上路

积分
10
发表于 2019-10-5 19:44:29 | 显示全部楼层 |阅读模式 来自 中国

7 H% z  l4 s- a

9 Z8 w( m# l: E  s/ c* ^0 c& U作者 | 小宋是呢,CSDN 博客专家
  z8 e5 C" `. t" O8 e+ Q本文精选自 CSDN 博客
" v& k7 P- ?# d3 `# S封图 | CSDN 付费下载自东方 IC" n9 \6 D% e9 X. [( v

# c1 V8 j4 n4 y* `7 |

, L7 t0 z8 U6 \* x5 |  r4 j0 q
+ \* i# @* j& q7 k
序篇
$ H& l& R; l2 z+ w, m! }- Q" \2 M/ t5 i& Y3 o/ n, w

" ]) J9 I9 v9 {2 k2015 年 11 月,Google 正式发布了 Tensorflow 的白皮书并开源 TensorFlow 0.1 版本。
2 l. g7 h0 _. b/ ~* v2017 年 02 月,Tensorflow 正式发布了 1.0.0 版本,同时也标志着稳定版的诞生。( B' n/ z/ m! U/ f6 u$ M. {3 T2 W* ~
2019 年 10 月,TensorFlow 在经历七个多月(2019 年 3 月 1 日 -2019 年 10 月 1 日)的 2.0 Alpha 版本的更新迭代后,发布 2.0 正式版。
9 _( k- y. ]' I
( A# Z9 {; r7 U6 A( P- P2.0 正式版官方介绍视频; m; t7 d7 n* S& Z4 B
虽然 2.0 正式版才刚刚发布,就已经引起了学术界与科研界广泛关注与好评:( L% H0 M& W. a" @, i: Z" ~7 |

    " E3 y9 ?& g- G( U/ F
  • Google 深度学习科学家以及 Keras 的作者表示,TensorFlow 2.0 是一个新时代的机器学习平台,这将改变了一切。
    9 j; k$ {; P& L+ R
  • 深度学习研究和教育者、fast.ai 创始人 Jeremy Howard 也称赞 2.0 版本的发布是”令人兴奋的一步,与 TensorFlow 一代相比是一个巨大的飞跃“。
    4 p9 O. {0 b4 J* A
  • 目前 GitHub 上排名第一的 NLP 机器学习课程 practicalAI 的作者以及苹果公司 AI 研究员 Goku Mohandas 在推特上说,他们正在从 PyTorch 转向 TensorFlow 2.0。/ O- y4 @) b/ |: Q1 U. @
为什么 TensorFlow 2.0 的发布能够引发了广泛的讨论和关注?下面笔者通过对于 TensorFlow“奋斗史”介绍与解读来分析 TensorFlow 如何成就的王霸之路。8 f% J  E; z3 R. E
TensorFlow 的“奋斗史”包括三个章节:锋芒初露(0.1),中原逐鹿(1.0),王者归来(2.0)。
0 p  q* t7 H8 w
, n1 t' N, P: Q; t5 ?% _6 T8 i

; }% ?* W' }- I# ]

: V+ z. Q+ p( N2 c- n- x锋芒初露·源起! b3 ]1 c4 t# l  O1 F: T

3 w$ Q* p: L7 E- x2 a% p& Z/ {+ g

  ~' G! h4 w3 X; J在 2011 年,Google Brain 内部孵化出一个项目叫做 DistBelief,它是为深度神经网络构建的一个机器学习系统。虽然这个著名的系统并没有开源,但是 Google 研究者有大量关于它设计的论文被大家所熟知,它也被广泛应用于 Google 内部的科研和商业产品中。这个项目最早可以追溯到 2009 年,由 Geoffery Hinton 带领的团队开发的一个实现了广义反向传播算法的框架,基于这个框架,Google 内部可以快速试验新的深度学习算法并提高算法精度。比如在使用这套框架后,Google 内部语音识别的错误率降低了 25%。
+ U  a3 T4 w/ b* z$ Q/ x/ \4 F, w后来,Google 决定将 DistBelief 打造成更加稳健、快速、通用的机器学习框架,调动了相当多的工程师和科学家投入到对 DistBelief 的改造,这其中就包括大名鼎鼎的 Jeff Dean。有了这样的豪华开发阵容,DistBelief 迅速成熟蜕变,成为一个高鲁棒和工业级的机器学习框架,这就是后来于 2015 年 11 月发布的 TensorFlow 0.1 版。
, e4 u$ _+ @, I, a1 g; i( R" O虽然相较于较早开源的 Caffe、MXNet 等优秀的机器学习框架,TensorFlow 还略显年轻,但是作为 Google 内部的第二代机器学习框架,TensorFlow 有了更加有趣的灵魂。相较于侧重于卷积的 Caffe 与刚从校园走出来的 MXNet,TensorFlow 以更加成熟完备的姿态展露锋芒。它是基于 DataFlow 的计算模型,算子相组合形成一个计算图,计算的过程就是数据在这个计算图的节点进行计算并流动。同时,这个计算图可以被切成不同的子图,并分配到不同的 Device 上,包括 CPU、GPU 和其他的计算设备,这样天然地对分布式友好。此外,TensorFlow 从一开始就被设计成运行在多个平台上,如 inference 可以运行在 iOS 和 Android 设备上,训练则可以运行在不同的硬件设备上。4 J) A, [; O# ?* o$ K, |* N
2016 年 4 月 14 日,Google 发布了分布式 TensorFlow,版本号为 0.8,这是 TensorFlow 发布之后的比较重大的版本更新。Google 的博文介绍了 TensorFlow 在图像分类的任务中,在 100 个 GPUs 和不到 65 小时的训练时间下,达到了 78%的正确率。在激烈的商业竞争中,更快的训练速度是人工企业的核心竞争力。而分布式 TensorFlow 意味着它能够真正大规模进入到人工智能产业中,产生实质性影响。
& K# W$ l7 G4 F& _- L在 2016 年 6 月,TensorFlow 发布了新版本的早期版本,版本号为 0.9,增加了对 iOS 的支持。随着谷歌增加了 TensorFlow 对 iOS 的支持,应用程序将能够在更聪明的功能集成到它们的应用程序,最终使它们更聪明和能干。
: a/ F- @% G5 n$ X- t. V. k4 R& I, ^9 d/ O4 j+ l6 C  D
从 0.9 版本开始,TensorFlow 支持了多平台,并且进入高速发展时期,开始不断赶超并拉开与其他深度学习框架的距离。虽只是源起,却锋芒毕露,初现王霸之气。- T& \1 g* w3 z! k

) \! Z8 p  {" Z6 T

" {& S: r9 O  d! X8 E0 u
! s8 h& ^( ~5 F1 b/ {( N+ s, x
中原逐鹿·盛极0 g# C$ t$ J8 p+ U! E* c
4 [7 ~) b( d9 j# l* d2 m  o- c2 M
! `4 e" d% S2 B6 h4 M( E+ k
时间到了,2017 年 1 月初,谷歌公布了 TensorFlow 1.0.0-alpha ,即 TensorFlow 1.0 的第一个“草稿”版本。2017 年 2 月,TensorFlow 在发布了 1.0.0 版本,也标志着稳定版的诞生。- Z, @# k1 Q  a  c4 C" R
与已有版本相比,全新的 TensorFlow 1.0 主要有以下改进:- `/ P* `# k; C# B6 c) P

    + c3 p" e  R4 y
  • 更快:TensorFlow 1.0 超乎想象地快!TensorFlow 1.0 为未来更多的性能改进打下了基础,而 tensorflow.org 现在可提供模型优化的提示和技巧,以达到最高速度。" q" k, }6 e2 h+ a, M' p( A; P
  • 更灵活:TensorFlow 1.0 为 TensorFlow 引进了带有 tf.layers,tf.metrics 和 tf.losses 模块的高级别应用程序界面。TensorFlow 团队引进能够与 Keras 完全兼容的新 tf.keras 模块。0 i+ b% e( A. f& l
  • 随时就绪:TensorFlow 1.0 可确保 Python 应用程序界面的稳定性 Python 能够在不打破现有代码的情况下,更容易地获取新功能。6 ?8 M" H5 G# u; I
1.0 版本不仅为 TensorFlow 机器学习函数库带来多重升级,而且为 Python 和 Java 用户使用 TensorFlow 做开发降低了难度。另外,新版本的修补也得到了改善。更有意思的是,由于对 TensorFlow 计算做优化的新编译器,在智能手机上运行基于 TensorFlow 的机器学习 APP 将成为可能。Tensorflow 它已成为 GitHub 最受欢迎的开源项目。' Y) V, m( `: `% M' P% K0 n
下图是 KDnuggets 网站对 2018 年的机器学习框架的使用做的一个调查统计,可以看出当时 TensorFlow 已经遥遥领先于其他竞争(Keras 是一个上层封装,底层调用的还是 TensorFlow),奠定了其深度学习霸主的地位。
, j9 w0 r( ?. g1 U! }  W) V" R+ c
3 S. ?8 x, A3 m5 V$ O" g! Q中国有句古话:盛极必衰,否极泰来,这句话对于 Google 的 TensorFlow 也同样适用。1.x 版本在高速发展过程中,也为自己后来发展筑起一道山,TensorFlow 也产生了很多被人诟病的地方,比如 API 的稳定性、效率和基于静态计算图的编程上的复杂性等。同时,坚持静态图模式也培养起来了足以撼动 TensorFlow 霸主地位的框架(上述图中默默无闻的第三名,后来强势崛起的 PyTorch)。2 y1 a7 E: j: t) {9 w$ r
1.x 版本后期,TensorFlow 发展由于自身原因(1. 为自己后来发展筑起一道山 2.坚持静态图模式)遭遇到瓶颈。PyTorch 以动态图开发模式,统一化的模块命名方式,更加人性化的编程的方式(Pythonic),强势出道。这些优势无一不击中 TensorFlow 的痛点,不断追赶、威胁 TensorFlow 霸主地位。
7 I+ o- L( p+ ^+ Q4 Z, H下图通过搜索全世界对机器学习和人工智能类别的兴趣(Google Interest),采用过去六个月的平均兴趣分数,并将其与前六个月的平均兴趣分数进行了比较。可以看出,TensorFlow 的平均兴趣分数处于下降状态,PyTorch 却呈上升趋势。6 G6 N5 F) R3 b; L

8 Z4 t" ?0 q6 o  `: r下面谷歌的图表显示了过去一年的搜索兴趣。TensorFlow 为蓝色,Keras 为黄色,PyTorch 为红色,fastai 为绿色。可以看出 TensorFlow 总体呈现下降趋势,而 PyTorch 却呈现持续增长姿态,不断缩小与 TensorFlow 的距离。3 X+ U! p$ U' p  m' A3 R) R: \
3 Z5 \3 |: ^% X% n8 X
按这样的趋势,PyTorch 在用户搜索兴趣方面追赶上 TensorFlow 指日可待了,TensorFlow 遭遇到出生以来最大的挑战(其实 TensorFlow 也就才三岁多)。TensorFlow 会如何应对这个挑战呢?是按部就班,在 1.x 版本上进行小修小补,得过且过(这个词用得有些过了,之所以会用是刚好写到这里的时候听到这首歌,同时这个词语与表达笔者对上述方法的不苟同);还是推倒重来,重新设计新版 TensorFlow,涅槃重生。这个选择会关乎到以后 TensorFlow 数年的发展和与 PyTorch 竞争的成败。笔者相信,Google 并不会做选择,小孩才会做选择,大人全都要。以谷歌的巨大体量,在内部执行两个方案,最后看市场反馈推出最合适的。Google 是大公司,以稳为主的策略还是很容易让人理解的。0 A% A+ Z/ l7 q- p2 [
+ j8 V, k! Z9 b& F/ l& S5 |
9 E1 c2 B5 k/ I# R) z% ~) U

' F6 L. @) j2 u9 `4 u/ \3 G9 B王者归来·槃涅+ M. t3 a+ i2 v. M+ U  I

1 e  s* V6 i: b; i

* I( r3 J. d& y, ~7 L! N0 o' x我们都知道 Google 推出了后者方案,选择涅槃重生,重塑自身。那么全新的 TensorFlow 2.0 究竟新在哪里呢?TensorFlow 官网给出了答复:1 j- N/ O3 c+ r4 O0 G

    : |0 u0 H* |1 A4 C
  • Keras 与 TensorFlow 紧密集成,默认 eager execution,执行 Pythonic 函数。官方表示,对开发者来说,TensorFlow 2.0 用起来跟 Python 差不多;对于研究者来说,新框架也在低级 API 方面进行了重点投入。% s$ L( h6 e8 }( t! f
  • 为了在各种平台上运行,SavedModel 文件格式进行了标准化。
    6 x# B$ j, u9 Z" q5 ]
  • 针对高性能训练场景,可以使用 Distribution Strategy API 进行分布训练,且只需进行少量代码修改就能获得出色的性能。支持 Keras Model.fit、自定义训练循环、多 GPU 等等。4 O2 _: k! \  X" p" ^: m! b, z9 R
  • TensorFlow 2.0 提高了在 GPU 上的性能表现。以 ResNet-50 和 BERT 为例,只需要几行代码,混合精度使用 Volta 和 Turing GPU,训练表现最高可以提升 3 倍。
    4 V( h0 V; v, D% D% R9 H1 K- G6 D
  • 新增 TensorFlow Datasets,为包含大量数据类型的大型数据集提供了标准接口。
    $ Q! ?: C$ P. o) V5 u
  • 虽然保留了传统的基于 Session 的编程模型,但官方现在建议使用 eager execution 进行常规的 Python 开发。tf.function 装饰器可以把代码转换成可以远程执行、序列化、性能优化的图。在 Autograph 的帮助下,能把常规的 Python 控制流直接转成 TensorFlow 控制流。
      N% X+ \* c% `  C' l7 }+ d/ D
  • 官方提供了 TensorFlow 1.x 升级 2.0 的迁移指南,TF2.0 还有一个自动转换的脚本。
    * S2 Z4 j1 d# ~: ?' E1 J2 t
  • TensorFlow 2.0 提供了易用的 API,能够灵活快速的实现新想法。模型的训练和 serving 也已经无缝集成在基础架构中。" m) k8 q7 M3 F  }) ~# X
  • 更多关于 TensorFlow 2.0 的信息,可以访问官网:https://www.tensorflow.org/
    5 _6 g$ O7 Y( s6 t3 T0 d! {, S
. ~3 _9 ]% W. R" ]6 [% b/ y
几乎每一条都直击 TensorFlow1.x 用户的痛点,广大使用 TensorFlow1.x 转到 PyTorch 的用户表示 TensorFlow 2.0 真香,纷纷倒戈。5 a) p8 G/ @+ G
Google 深度学习科学家以及 Keras 的作者表示,TensorFlow 2.0 是一个新时代的机器学习平台,这将改变了一切。
; Y$ {8 M  b( ]. T7 ]3 J深度学习研究和教育者、fast.ai 创始人 Jeremy Howard 也称赞 2.0 版本的发布是“令人兴奋的一步,与 TensorFlow 一代相比是一个巨大的飞跃”。
. m5 N3 H$ g. L( w+ P目前 GitHub 上排名第一的 NLP 机器学习课程 practicalAI 的作者以及苹果公司 AI 研究员 Goku Mohandas 在 Twitter 上说,他们正在从 PyTorch 转向 TensorFlow 2.0。0 p' d4 Z! m: K5 i9 j/ n) A
此后,PyTorch 在与 TensorFlow 的争霸中将再难有胜算,TensorFlow 1.x 版本的失误给了 PyTorch 赶超的机会,PyTorch 已尽力追赶了,但是还是没有实现赶超。Now,TensorFlow 2.0 已经补全缺点,同时具备比 PyTorch 更加完备的多平台支持、更成熟的部署方式与数量巨大的用户基数。如果 PyTorch 早出生一年,或者 TensorFlow 2.0 晚发布一年,PyTorch 还是有机会的,但是没有如果,Google 依旧是最强大科技公司之一,很难反复给对手机会赶超。TensorFlow 再次呈现对于其他框架压倒式优势,实现王者归来。
' \% B2 x  h6 _! D; B
; ?' a0 J2 ~! b6 O$ o$ H; @% e
3 Z# y0 c8 ~  O

/ h' O& t* `: r0 L0 s终章
: n0 f+ e6 X' C

% r+ w1 ~: `# [  L, ?8 V8 g4 @4 t7 A# j, Q4 g) l
) V! Q. l$ v9 F$ F
TensorFlow 从最开始 0.1 版本诞生时受到广泛关注,到 1.0 版本的全面爆发,再到今年 2.0 版本正式发布,它已趋于完美。TensorFlow 的成长依托于 Google 的强大研发与号召力,但 TensorFlow 的成功更归功于设计的完备性、审时度势和适时革新。
2 K( G" T8 `1 R; e经历四年时光,TensorFlow 的发展与成功离不开先天的优秀天赋(Google Brain),更有赖于后天的努力拼搏(适时革新)。有天分又有努力,TensorFlow 的成功理所应当。  b. `# W  M8 Z
附:
4 b1 e9 q$ G$ Q" Q/ T想要体验正式版本 TensorFlow 2.0 可以访问=>『TensorFlow2.0 正式版教程』极简安装 TF2.0 正式版(CPU&GPU)教程:
1 B3 m8 r9 j1 c0 i( u) zhttps://xiaosongshine.blog.csdn.net/article/details/101844926; q1 r5 S, v$ Z$ q7 I( ^/ I
扫描下方二维码,下载 CSDN App,即刻与博主互动起来!
) r4 w5 J5 H+ K, }' {

/ e" j3 _% c+ o6 |8 ^; C* j4 A9 @【END】
2 m& F( B1 n2 ^& N
3 h5 v6 t  C* s2 K* ? 热 文 推 荐 
+ s# |& x) i. h0 k: S9 R+ g☞ 蚂蚁金服自研数据库打败Oracle拿下世界第一;三星手机全面退出中国;微软发布Windows 10X双屏系统 | 极客头条☞ 中国物联网激荡 20 年!
1 r: F% a6 [/ P5 ?. T☞ 鸿蒙 OS 的微内核技术究竟是什么?☞ 200 行代码解读国产数据库阿里 OceanBase 的速度源头!| CSDN 博文精选
" {& M* k8 \& [2 h☞ 程序员 45 岁怎么了?对比C++和Python,谈谈指针与引用肖仰华:知识图谱构建的三要素、三原则和九大策略 | AI ProCon 2019以太坊交易量第一合约FAIRWIN被爆漏洞, 竟是因为这个接口被滥用……点击阅读原文,即刻与博主互动起来。7 @0 d! Q: n2 M+ W3 J- `
你点的每个“在看”,我都认真当成了喜欢3 S9 P6 m- d5 A6 ~0 Q2 }( A
来源:http://mp.weixin.qq.com/s?src=11&timestamp=1570273204&ver=1894&signature=wbyR5eEK5ZNuCYUNykmgSbu7lZdav7yVeotRnfrhvE*aLGBype63FQP9YgT5B2PjfShoStsKB9izwIC-OLC2YyqInaVXUYykzxGSKYW*HJypZrly6mkJ98trZtQEPJrN&new=14 ]' p# {7 }/ L
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

帖子地址: 

梦想之都-俊月星空 优酷自频道欢迎您 http://i.youku.com/zhaojun917
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /6 下一条

QQ|手机版|小黑屋|梦想之都-俊月星空 ( 粤ICP备18056059号 )|网站地图

GMT+8, 2025-7-8 21:31 , Processed in 0.056262 second(s), 28 queries .

Powered by Mxzdjyxk! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表