图灵奖得主，带你详解深度学习

sniper1980t

内容来源：本文为人民邮电出版社书籍《深度学习》读书笔记，笔记侠经出版社授权发布。
$ Z: q  ^5 e( H% w作者简介： Ian Goodfellow，谷歌公司的研究科学家；Yoshua Bengio，蒙特利尔大学计算机科学与运筹学系的教授；Geoffrey Hinton，多伦多大学荣誉退休教授，Google杰出研究科学家。
读书笔记•人工智能
本文优质度：★★★★★+口感：拿铁
3 a( @& \' t% D( I! Q3 k阅读前，笔记君邀你思考：
北京时间3月27日晚，ACM（计算机协会）宣布把2018年度图灵奖颁给了深度学习“三巨头”——Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun，以表彰他们在深度学习神经网络上的工作。
6 q' M5 w) F0 M3 G# a8 J9 f图灵奖被认为是计算机领域的“诺贝尔奖”，一起来看看图灵奖得主如何理解所谓的“深度学习”。
以下，尽请欣赏~
1956年的夏天，一场在美国达特茅斯大学召开的学术会议，多年以后被认定为全球人工智能研究的起点。
" f+ Q, T1 |4 V6 x+ _2016年的春天，一场AlphaGo与世界顶级围棋高手李世石的人机世纪对战，把全球推上了人工智能浪潮的新高。
" Z" x8 s# ]- V- k2016年被称为“人工智能元年”，这一年爆发了全球性的人工智能潮流。
" ]4 t% s9 U9 C1 {( x4 B以谷歌、Facebook、微软为首的全球三大AI巨头都在逐渐将公司的发展重心转移到人工智能方面来。

2019年1月25日，谷歌旗下的DeepMind开发的全新AI程序AlphaStar，在《星际争霸2》人机大战比赛中，以10：1的战绩，全面击溃了人类职业高手。
8 }/ |( R- l3 D! P3 @6 A在围棋世界里，动作空间只有361种，而《星际争霸2》大约是10的26次方种。这场比赛可以说是人工智能在竞技游戏领域的一次里程碑式的胜利。
无论是AlphaGo还是AlphaStar，它们的主要工作原理都是“深度学习”。“深度学习”是机器学习的一个领域，其形式是模拟人类大脑的神经网络进行计算和学习。
一、神经网络与深度学习
0 A3 |. p8 \, q& \为什么要了解深度学习？
+ t9 `: j5 j* H. k) x' q2 `首先，“深度学习”现在太热门了，图形识别、语音识别、汽车导航全都能用上，非常值钱。
! e2 Y& j  @. v4 ^% m0 [$ S/ z0 H
- w& g1 h+ o* D. T! r8 N# R▲ 长按图片保存可分享至朋友圈

更重要的是，“深度学习”算法包含精妙的思想，能够代表这个时代的精神。
这个思想并不难，但是一旦领会了，你就能窥探一点脑神经科学和现代工程学。
我将重点使用两份参考资料：

$ G5 X) ?$ O; P5 p. ~" q1 q一个是Arstechnica网站近期发布的一篇文章《计算机图形识别能力如何好到令人震惊》，作者是蒂莫西·李（Timothy Lee）。
一个是一本新书《深度学习：智能时代的核心驱动力量》，作者是特伦斯·谢诺夫斯基（Terrence Sejnowski），中信出版社刚刚出了中文版。
% M' M6 `3 r4 A, j不知道你注意到没有，你的手机相册，知道你每一张照片里都有什么东西。
" T% s0 n( I5 ?1 d3 |+ X' U0 I8 K/ w不管你用的是 iPhone还是安卓，相册都有一个搜索功能，你输入“beach”，它能列举所有包含海滩的照片；输入“car”，它能列举画面中有汽车的照片，而且它还能识别照片中的每一个人。
. S" Q% z& J  S3 p5 Z- Q每拍摄一张照片，手机都自动识别其中的典型物体。这是一个细思极恐的技术。怎么才能教会计算机识别物体呢？
- b- o4 R' H7 R! A+ S# z3 y; r2 R1.没有规则的学习
不到十年之前，人们总认为模式识别方面人脑比计算机厉害，甚至谷歌投入巨大精力研究都做不到从照片里识别出一只猫。
然而，从2012年开始，“深度学习”让计算机识别图形的能力突然变得无比强大，甚至已经超过了人类。
首先来看人是怎么识别猫的。
) Z2 E$ u% z  G2 i( [' W1 H6 n- m观察一下这张图，你怎么判断这张照片里有没有猫呢？、、

5 K; W/ A' x$ B: e8 }你可能会说，这很简单，所有人都知道猫长什么样——好，那请问猫长什么样？
! s+ a( N1 }! v你也许可以用科学语言描写“三角形”是什么样的——这是一种图形，它有三条直线的边，有三个顶点。
可是你能用比较科学的语言描写猫吗？它有耳朵、有尾巴，但这么形容远远不够，最起码你得能把猫和狗区分开来才行。
再看下面这张图片，你怎么判断 ta 是男还是女呢？
5 h" D" J5 b# W' R
1 a/ k5 P5 e2 K2 d5 j% H9 `图片来自 design.tutsplus.com

你可能会说女性长得更秀气一些——那什么叫“秀气”？是说眉毛比较细吗？是轮廓比较小吗？
这是一个非常奇怪的感觉。你明明知道猫长什么样，你明明一眼就能区分男性和女性，可是说不清是怎么看出来的。
古老的计算机图形识别方法，就是非要规定一些明确的识别规则，让计算机根据规则判断，结果发现非常不可行。
人脑并不是通过什么规则做的判断。那到底是怎么判断的呢？
$ p( T. i, S$ y  O2.神经网络
神经网络计算并不是一项新技术，几十年前就有了，但是一开始并不被看好。
* y, X3 L; P! m' J! s5 q& K$ B《深度学习》的作者谢诺夫斯基，上世纪80年代就在研究神经网络计算，那时候他是一个少数派。

1989年，谢诺夫斯基到麻省理工学院计算机实验室访问。气氛不算融洽，那里的人都质疑他的方法。
/ S1 l7 l% \9 G* _8 B; g午餐之前，谢诺夫斯基有五分钟的时间，给所有人介绍一下他讲座的主题。谢诺夫斯基临场发挥，以食物上的一只苍蝇为题，说了几句话。
, b$ h: a1 z1 ?# g* [谢诺夫斯基说，你看这只苍蝇的大脑只有10万个神经元，能耗那么低，但是它能看、能飞、能寻找食物，还能繁殖。MIT有台价值一亿美元的超级计算机，消耗极大的能量，有庞大的体积，可是它的功能为什么还不如一只苍蝇？
2 |, a/ b8 M+ V在场的教授都未能回答好这个问题，倒是一个研究生给出了正确答案。
, K* P1 o, W$ `他说：这是因为苍蝇的大脑是高度专业化的，进化使得苍蝇的大脑只具备这些特定的功能，而我们的计算机是通用的，你可以对它进行各种编程，它理论上可以干任何事情。
) G7 p/ ~& P, e+ K这个关键在于，大脑的识别能力，不是靠临时弄一些规则临时编程。大脑的每一个功能都是专门的神经网络长出来的。
! K& w! c5 z# e5 Z
# W; n5 u* x$ I( w5 }那计算机能不能效法大脑呢？
( y, e; `7 C& P" K. N谢诺夫斯基说，大脑已经给计算机科学家提供了四个暗示。
第一个暗示：大脑是一个强大的模式识别器。
人脑非常善于在一个混乱的场景之中识别出你想要的那个东西。比如你能从满大街的人中，一眼就认出你熟悉的人。
' q3 E, S- x' j( I5 w5 O# f1 H2 K第二个暗示：大脑的识别功能可以通过训练提高。
1 R- l$ T8 u" P" y! ?" h; ^& I第三个暗示：大脑不管是练习还是使用识别能力，都不是按照各种逻辑和规则进行的。
我们识别一个人脸，并不是跟一些抽象的规则进行比对。我们不是通过测量这个人两眼之间的距离来识别这个人。我们一眼看过去，就知道他是谁了。
7 I6 k( O" p/ ~) h& T# O) S第四个暗示：大脑是由神经元组成的。我们大脑里有数百亿个神经元，大脑计算不是基于明确规则的计算，而是基于神经元的计算。
* q9 L7 G* i: p; }# S) w这就是神经网络计算要做的事情。
3.什么是“深度学习”
下面这张图代表一个最简单的计算机神经网络。
0 G$ Q5 p; m3 n7 X
图片来自 hackernoon.com
$ J2 @, P6 U6 [  q: e5 P2 g* k) d
它从左到右分为三层。
7 _8 F3 p1 f$ u! g$ I" W第一层代表输入的数据，第二和第三层的每一个圆点代表一个神经元。
6 G) Z" V8 D0 I2 h第二层叫“隐藏层”。
6 {6 A. L1 T- I5 i) c第三层是“输出层”。
6 z/ \1 K5 Q+ U7 z! R数据输入进来，经过隐藏层各个神经元的一番处理，再把信号传递给输出层，输出层神经元再处理一番，最后作出判断。
从下面这张图，你可以看到它的运行过程。
; r( B; M9 w8 n+ G
图片来自 Analytics India Magazine
' K7 [, j9 E: \& u, C' y& I那什么叫“深度学习”呢？最简单的理解，就是中间有不止一层隐藏层神经元的神经网络计算。
: R- L, H/ V. q9 p. w“深度”的字面意思就是层次比较“深”。
接着看下面这张图，你可以看到，左边是简单神经网络，右边是深度学习神经网络。

图片来自 Towards Data Science 网站
( v# x1 |" j. h2 I计算机最底层的单元是晶体管，而神经网络最底层的单元就是神经元。神经元是什么东西呢？我们看一个最简单的例子。
2 o' s5 ]3 u6 d3 }: p& X( w下面这张图表现了一个根据交通信号灯判断要不要前进的神经元。它由三部分组成：输入、内部参数和输出。

! @, a( B9 U$ G' `  n这个神经元的输入就是红灯、黄灯和绿灯这三个灯哪个亮了。我们用1表示亮，0表示不亮，那么按照顺序，“1，0，0” 这一组输入数字，就代表红灯亮，黄灯和绿灯不亮。
) S3 _% g$ _1 Y* g* P& R. _
1 z+ ~9 @9 L* c$ r8 ]7 }神经元的内部参数包括“权重（weight）”，它对每个输入值都给一个权重。
比如图中给红灯的权重是 -1，黄灯的权重是 0，给绿灯的权重是 1。另外，它还有一个参数叫“偏移（bias）”，图中偏移值是-0.5。
, i. L7 H8 L) o神经元做的计算，就是把输入的三个数字分别乘以各自的权重，相加，然后再加上偏移值。比如现在是红灯，那么输入的三个数值就是1、0、0，权重是 -1、0、1。
% [: m, ]" r, c0 ?5 A3 k所以计算结果就是：1×(-1) + 0×0 + 0×1 - 0.5 = -1.5。
输出是做判断，判断标准是如果计算结果大于 0 就输出“前进”命令，小于 0 就输出“停止”命令。现在计算结果小于0，所以神经元就输出“停止”。
2 f8 h# K8 }! D/ t$ z这就是神经元的基本原理。
真实应用中的神经元会在计算过程中加入非线性函数的处理，并且确保输出值都在 0 和 1 之间。
# B+ b( n3 P# p5 q
+ L7 v/ g2 |- U* q# S; `本质上，神经元做的事情就是按照自己的权重参数把输入值相加，再加入偏移值，形成一个输出值。如果输出值大于某个阈值，我们就说这个神经元被“激发”了。
! {; t2 U4 d3 `( c3 `3 Q: N神经元的内部参数，包括权重和偏移值，都是可调的。
用数据训练神经网络的过程，就是调整更新各个神经元的内部参数的过程。神经网络的结构在训练中不变，是其中神经元的参数决定了神经网络的功能。
2 b9 ~6 j0 U) O2 \& z6 h接下来我们要用一个实战例子说明神经网络是怎样进行图形识别的。
5 V4 P2 H8 L$ w; t% J二、计算机如何识别手写数字
* M) w! T- M+ Z& U0 h# I' M! h用神经网络识别手写的阿拉伯数字，是一个非常成熟的项目，网上有现成的数据库和很多教程。
有个叫迈克尔·尼尔森（Michael Nielsen）的人只用了74行Python程序代码就做成了这件事。
" Z/ S7 r3 k: |* g$ m: w给你几个手写阿拉伯数字，可能是信封上的邮政编码也可能是支票上的钱数，你怎么教会计算机识别这些数字呢？

1. 简化
想要让计算机处理，首先要把问题“数学化”。
写在纸上的字千变万化，我们首先把它简化成一个数学问题。我们用几个正方形把各个数字分开，就像下面这张图一样。
  G4 N# ]+ S! \  \6 G; K
现在问题变成给你一个包含一个手写数字的正方形区域，你能不能识别是什么数字？
再进一步，我们忽略字的颜色，降低正方形的分辨率，就考虑一个28×28=784个像素的图像。
我们规定每一个像素值都是0到1之间的一个小数，代表灰度的深浅，0表示纯白色，1表示纯黑。这样一来，手写的数字“1”就变成了下面这个样子 ——

( }% ?* a- O) Y  ]& S图片来自packtpub.com, The MNISTdataset。实际分辨率是28×28
这就完全是一个数学问题了。
1 z) a% m3 N. M现在无非就是给你784个0-1之间的数，你能不能对这组数做一番操作，判断它们对应的是哪个阿拉伯数字。输入784个数，输出一个数。
' `6 Y5 x8 C5 T这件事从常理来说并不是一点头绪都没有。
比如任何人写数字“7”，左下角的区域应该是空白的，这就意味着784个像素点中对应正方形左下角区域那些点的数值应该是0。
  p, h- W4 j8 g" a再比如说，写“0”的时候的中间是空的，那么对应正方形中间的那些像素点的数值应该是0。
然而，这种人为找规律的思路非常不可行。
" e3 @  S$ s6 h9 ?, ~( `! t. s# Y首先你很难想到所有的规则，更重要的是很多规则都是模糊的——比如，7的左下角空白，那这个空白区域应该有多大呢？不同人的写法肯定不一样。
肯定有规律，可我们说不清都是什么规律，这种问题特别适合神经网络学习。
2. 设定
& A/ d! }4 J9 `! ]) m0 e$ h7 w# }8 Z我们要用的方法叫做“误差反向传播网络”，它最早起源于1986年发表在《自然》杂志上的一篇论文，这篇论文的被引用次数已经超过了4万次，是深度学习的里程碑。
根据尼尔森的教程，我们建一个三层的神经网络，就是下面这张图。

第一层是输入数据，图中只画了8个点，但其实上有784个数据点。
第二层是隐藏层，由15个神经元组成。
! @  ^# K, N$ C6 }; ]第三层是输出层，有10个神经元，对应0-9这10个数字。
9 n" M  k2 R4 {" l1 }; v
" P& n! t1 K- A& |1 p5 r5 C) h每个神经元都由输入、权重和偏移值参数、输出三个部分组成。
5 S2 V( O! W# r, G8 Q/ q' k隐藏层15个神经元中的每一个都要接收全部784个像素的数据输入，总共有784×15=11760个权重和15个偏移值。
第三层10个神经元的每一个都要跟第二层的所有15个神经元连接，总共有150个权重和10个偏移值。这样下来，整个神经网络一共有11935个可调参数。
理想状态下，784个输入值在经过隐藏层和输出层这两层神经元的处理后，输出层的哪个神经元的输出结果最接近于1，神经网络就判断这是哪一个手写数字。
- ?) t+ w. e5 Y; v' y3. 训练
网上有个公开的现成数据库叫“MNIST”，其中包括6万个手写的数字图像，都标记了它们代表的是哪些数字。

3 I' x9 T7 r) _, g2 A6 t我们要做的是用这些图像训练神经网络，去调整好那11935个参数。我们可以用其中3万个图像训练，用剩下3万个图像检验训练效果。

8 C* z* c3 G" H& N( W这个训练调整参数的方法，就是“误差反向传播”。比如我们输入一个数字“7”的图像。
: L+ _/ x: |4 j& R
神经网络实际收到的是784个像素值。经过两层神经元的传播计算，理想情况下，输出层的7号神经元的输出值应该最接近于1，其他的都很接近于0。

7 M: V+ g5 Z5 c( H5 {, N一开始结果并不是这么准确，我们要用一套特定的规则去调整各个神经元的参数。
参数调整有个方向，叫做“误差梯度”。
比如对输出层的7号神经元来说，调整方向就是要让它的输出值变大；对其他9个神经元，调整方向则是让输出值变小。
2 o4 U. n  f" D: p这个调整策略是看哪个输入信息对结果的影响大，对它的权重的调整就要大一点。
8 s1 |7 a+ T; R; @, d几万个训练图像可能会被反复使用多次，神经网络参数不断修改，最终将会达到稳定。
; `/ L7 X$ \) s& w& Z  B" |" K慢慢地，新图像喂进来，这11935个参数的变化越来越小，最终几乎不动了。那就是说，这个识别手写数字的神经网络，已经练成了。
1 g& R3 v  Q, p% f1 }事实证明这个简单网络的识别准确率能达到95%！

在理论上，这个方法可以用来学习识别一切图像。
) E' ^8 h) }0 M' ]你只要把一张张的图片喂给神经网络，告诉它图上有什么，它终将自己发现各个东西的像素规律……但是在实践上，这个方法非常不可行。
% [' h0 w7 r! V" y0 N- ^% L三、卷积网络如何实现图像识别
计算机不怕“笨办法”，但是哪怕你能让它稍微变聪明一点，你的收获都是巨大的。
) B6 n# Z6 x1 G( e1.“笨办法”和人的办法
7 R/ i7 T" g4 P- P1 @" s! z下面这张图中有一只猫、一只狗、绿色的草地和蓝天白云。它的分辨率是350×263，总共92050个像素点。
7 b4 F9 W: r, q. p考虑到这是一张彩色照片，每个像素点必须用三个数来代表颜色，这张图要用27万个数来描写。
* ]  A+ m) L8 h) V  c5 ], n
要想用误差反向传播神经网络识别这样的图，它第二层每一个神经元都要有27万个权重参数。
4 V# A9 `6 @# X. e  R$ @: i% \要想识别包括猫、狗、草地、蓝天白云这种水平的常见物体，它的输出层必须有上千个神经元才行。
这样训练一次的计算量将是巨大的 —— 但这还不是最大的难点。
& e8 m6 x, p1 f1 U" r# @1 Q' c最大的难点是神经网络中的参数越多，它需要的训练素材就越多。
; s6 [7 M# g7 d3 A6 n% t2 E/ o并不是任何照片都能用作训练素材，你必须事先靠人工标记照片上都有什么东西作为标准答案，才能给神经网络提供有效反馈。
这么多训练素材上哪找呢？
% n) D5 B+ V0 v' n  R我听罗胖跨年演讲学到一个词叫“回到母体”，意思大约是从新技术后退一步，返回基本常识，也许能发现新的创新点。
( E7 ~$ A; P, i6 _5 G4 ~2 ^现在我们回到人脑，想想为什么简单神经网络是个笨办法。
人脑并不是每次都把一张图中所有的像素都放在一起考虑。我们有一个“看什么”，和一个“往哪看”的思路。
- @# x0 L" n" C' Y0 J2 V4 G
2 h8 Q& K$ `% G) V! y- _6 Q8 l让你找猫，你会先大概想象一下猫是什么样子，然后从一张大图上一块一块地找，你没必要同时考虑图片的左上角和右下角。这是“往哪看”。
% M) o1 [. s# D  T% I: ~. b还有，当你想象猫的时候，虽然不能完全说清，但你毕竟还是按照一定的规律去找。比如猫身上有毛，它有两个眼睛和一条尾巴等等。
你看的不是单个的像素点，你看的是一片一片的像素群的模式变化。这是“看什么”。
2 s0 X$ b" q4 W我理解“卷积网络”，就是这两个思路的产物。
3 a& `* W* t& F0 B4 }$ P6 Y2.竞赛
斯坦福大学的华裔计算机科学家李飞飞，组织了一个叫做ImageNet的机器学习图形识别比赛，从2010年开始每年举行一次。
4 ~( |  |/ E& M1 Q. S) d& x这个比赛每年都给参赛者提供一百万张图片作为训练素材！其中每一张图都由人工标记了图中的每个物体。


& f+ P4 t3 f: F7 Q6 Y' t图片素材中共有大约一千个物体分类。这就意味着，对每一种物体，人工智能都有大约一千次训练机会。
. J, S$ i8 s. I, U" F5 P比赛规则是参赛者用这一百万张图片训练自己的程序，然后让程序识别一些新的图片。
每张新图片有一个事先设定的标准答案，而参赛者的程序可以猜五个答案，只要其中有一个判断跟标准答案相符合，就算识别结果准确。

3 r6 z" B( z! I. W/ B5 t6 z上图是历届比赛冠军的成绩。2010和2011年，最好成绩的判断错误率都在26%以上，但是2012年，错误率下降到了16%，从此之后更是直线下降。2017年的错误率是2.3%，这个水平已经超过人类。
' l3 B; R. E/ k6 r. S那2012年到底发生了什么呢？发生了“卷积网络”。
3.卷积网络
2012年的冠军是多伦多大学的一个研究组，他们使用的方法就是卷积网络。
正是因为这个方法太成功了，“深度学习”才流行起来，现在搞图形识别几乎全都是用这个方法。
/ i, P9 `" x6 c( h; l) {9 v获奖团队描述卷积网络的论文的第一作者叫艾利克斯·克里泽夫斯基（Alex Krizhevsky），当时他只是一个研究生，这篇论文现在被人称为“AlexNet” 。
2 B9 g  X# y$ n4 _3 Z# P简单来说，AlexNet的方法是在最基本的像素到最终识别的物体之间加入了几个逻辑层，也就是“卷积层”。
“卷积”是一种数学操作，可以理解成“过滤”，或者叫“滤波”，意思是从细致的信号中识别尺度更大一点的结构。
. v, ]3 Y: G- S' A- c9 j每一个卷积层识别一种特定规模的图形模式，然后后面一层只要在前面一层的基础上进行识别，这就解决了“看什么”和“往哪看”的问题。
比如说我们要搞人脸识别，卷积网络方法把问题分解为三个卷积层。
/ e+ ^/ ]( m: K& g
9 u4 C  |7 c+ S- h( p图片来自cdn.edureka.co

/ M) y" c4 B2 n第一层，是先从像素点中识别一些小尺度的线条结构。
第二层，是根据第一层识别出来的小尺度结构识别像眼睛、耳朵、嘴之类的局部器官。
第三层，才是根据这些局部器官识别人脸。
其中每一层的神经网络从前面一层获得输入，经过深度学习之后再输出到后面一层。
6 L( N/ x8 `" |( d" I) z. r5 EAlexNet的论文提到，他的识别系统足足分了五个卷积层，每一层都由很多个“特征探测器”组成。
第一层有96个特征探测器，各自负责探测整个图形中哪些地方有下面这96种特征中的一种。

9 H$ e+ d/ f6 N2 a; H比如说，第一层的第一个特征探测器，专门负责判断图中哪里有像下面这样，从左下到右上的线条结构。
( Q/ J/ \. x6 s
3 Q4 J: T/ [. o- ^4 r9 t4 U8 q这个特征探测器本身也是一个神经网络，有自己的神经元——而这里的妙处在于，它的每一个神经元只负责原始图像中一个11×11小区块。
考虑到三种颜色，输入值只有 11×11×3= 363个。而且因为这个探测器只负责探测一种结构，每个神经元的参数都是一样的！这就大大降低了运算量。
第一层的其他探测器则负责判断像垂直条纹、斑点、颜色从亮到暗等各种小结构，一共是96种。
( \) S7 k# q7 _2 q4 A* v+ }$ A. V也就是说，卷积网络的第一层先把整个图像分解成11×11的区块，看看每个区块里都是什么结构。
为了避免结构被区块拆散，相邻的区块之间还要有相当大的重叠。经过第一层的过滤，我们看到的就不再是一个个的像素点，而是一张小结构的逻辑图。
然后第二卷积层再从这些小结构上识别出更大、更复杂也更多的结构来。以此类推，一直到第五层。
下面这张图表现了从第一层到第三层识别的模块（灰色）和对应的实例（彩色）。
: E: U; [" B1 m% W2 g% I
图片来自https://datascience.stackexchange.com/questions/17205/feature-extraction-in-convnns-layers-progression
我们看到，第二个卷积层已经能识别圆形之类的结构，第三层已经能识别车轮和小的人脸。
五个卷积层之外，AlexNet还设置了三个全局层，用于识别更大的物体。整个分层的结构是下面这样。

图片来自 Machine Learning Blog

( k3 N. Y% G" n3 D# B/ z" V这样分层方式有很多好处：第一，卷积层中的神经元只要处理一个小区域的数据，而且参数可以重复使用，大大减少了运算量。第二，因为可以一个区域一个区域地搜索，就可以发现小尺度的物体。
/ @1 H$ S$ z' \. \  l& I* a( S, z9 m意识到图形识别有多难，你就能体会到AlexNet的识别水平有多神奇。下面这张图中有个红色的螨虫，它出现在图像的边缘，但是被正确识别出来了。
, ?7 l- Q( l. U$ c5 `! _
) R8 t* `( A/ d! T+ ]AlexNet还猜测它可能是蜘蛛、蟑螂、虱子或者海星，但是认为它是螨虫的可能性最高。这个判断水平已经超过了我，我都不知道那是个螨虫。
- L1 v' V, G) N& h再比如下面这张图，标准答案是“蘑菇”，但AlexNet给的第一判断是更精确的“伞菌”，“蘑菇”是它的第二选项！

而现在基于类似的卷积网络方法的深度学习程序，水平已经远远超过了AlexNet。

5 ~6 u- g8 G1 r% G4.深度学习（不）能干什么
AlexNet那篇论文的几个作者成立了一家创业公司，这家公司在2013年被Google收购了。半年之后，Google相册就有了基于图片识别的搜索能力。
紧接着，Google就可以从自家拍摄的街景图像中识别每家每户的门牌号码了。
- n/ z4 e4 \" E2 xGoogle还夺得了2014年的ImageNet竞赛冠军。
所以千万别低估工程师迭代新技术的能力。他们举一反三，一旦发现这个技术好，马上就能给用到极致。
2012年之前深度学习还是机器学习中的“非主流”，现在是绝对主流。
深度学习能做一些令人赞叹的事情。
$ r/ c4 u( w4 j7 W! U7 _$ p5 a9 O( B比如说对于一个不太容易判断的物体，如果网络知道图中有草地，那么它就会自动判断这应该是一个经常放在户外的东西，而不太可能是一件家具。
这完全是基于经验的判断，你不需要告诉它家具一般不放户外。看的图多了，它仿佛获得了一些智慧！一个生活经验少的人可做不到这一点。
但是蒂莫西·李也提醒了我们深度学习不能做什么。
) F$ ]  Y8 X: y- N( T: x比如说把一个物体放大一点、或者旋转一个角度、或者调整一下光线，卷积网络就不知道那是同一个东西，它必须重新判断。

3 y! \  |5 R' `# k0 r深度学习完全是基于经验的判断，它没有任何逻辑推理能力。
在我看来，这种学习方法，就如同在数学考试前夜背诵习题集。你能猜对答案是因为你背诵过类似的题，但是你并不真的理解数学。
2 {' w$ \5 V- Y% [这样的算法会有创造力吗？深度学习能发现图像中从来没有被人命名过的“怪异”物体吗？
: N* P! E- Q% E我们见识了光凭经验的操作能强大到什么程度，但是我们也能看出来，它距离真正的智能还非常遥远。
0 i$ T) l+ N* s7 ?; W0 o! L0 t
4 f# A: u* ?7 C; w4 [0 l" H
: V, [, m) x  k5 e$ B
嘿，你在看吗？
: P" `1 i. K" |5 U' Z来源：http://www.yidianzixun.com/article/0LcQnLfw
5 l- U5 h3 V7 Q+ z% z% c免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！