图灵奖得主LeCun评ChatGPT不算创新，被网友骂柠檬精

女孩放开那畜牲

丰色 发自 凹非寺
  E" b% x$ g0 I6 E量子位 | 公众号 QbitAI

3 o+ H5 M( A$ Z# o2 c“ChatGPT并不算创新。”
“OpenAI做的这个东西跟其他实验室相比，根本算不上什么进步。”
这两天，图灵奖得主LeCun公开和大热趋势“唱反调”，瞬间引发网友围观。

) b  E/ H+ M" w% B& l  M; I
9 r, A$ R8 U- J4 B
2 a+ `2 I! U2 ~* R要知道，ChatGPT功能强大又好玩，火爆全网，任谁看了都得感叹一句“技术也太强了吧”，AI大佬对此却“不敢苟同”？
3 R5 B0 n# H+ R& X+ {1 }8 E对此，不少网友称LeCun就是在“酸”OpenAI的成就：
“OpenAI现在让谷歌和Meta都处于ChatGPT的阴影之下。这就是为什么它不算革命性的创新。”

; s9 v% k  _8 N) n" M/ J. K

* H" p  d! u' O" _' f2 v但也有学者为他撑腰，称“ChatGPT就是一年前的InstructGPT的改进版本，我必须同意LeCun的这个说法”。

0 J9 E2 Z$ [, K5 x
0 Y2 g- X7 k- s: `: T2 I

具体是怎么回事儿？


6 C2 f0 T( R# T  f“ChatGPT不算技术创新，只是组合得很好罢了”
# _0 h8 e7 z& K. T* D8 yLeCun是在上周于Zoom的媒体和高管小型聚会上发表了这些观点。
- E; V9 I+ `/ K8 ~* J7 f0 Y3 C. I* I2 W说ChatGPT不创新，是就底层技术而言。
$ ^, {* J& B% F0 V" o他表示，过去许多公司和实验室都建立了ChatGPT这种数据驱动的人工智能系统，因此OpenAI的这个作品算不上独树一帜。
' _& }0 M1 ~# |尽管ChatGPT在这里面可能最强大，公众都被它的能力所折服，觉得它能给大家的工作和生活带来非常大的变化，但它也真的算不上革命性的科学。
他指出，除了谷歌Meta，还有6家初创公司都拥有着非常相似的技术。
1 v  S& ^& v; i( J2 ~8 W9 k9 G“这些技术都是公开的，算不上rocket science，如果你愿意一探究竟的话，可以发现它背后没有任何秘密可言。”
7 X9 {! w* S) w' O(Ps. rocket science即火箭科学，指特别困难的事情。）
他称ChatGPT仅仅是“组合得很好”。
. m: f+ i* v! S6 h9 h具体都“组合”了以下这些关键技术：
# B8 s+ A# @4 \) E* V: F! p首先，它的核心就是以自监督学习的方式预训练的Transformer架构。
其中，自监督学习是“我LeCun”早就提倡的。有多早？那时OpenAI都还没诞生呢。
Transformer呢，更不用多说。是谷歌2017年就提出的，GPT-3等大量语言模型都是基于它。
1 J% T4 @& f1 N: |6 Y. E而说起语言模型，它的历史就更早了。
第一个神经网络语言模型，是Yoshua Bengio在大约20年前提出的。（注意力机制的概念最早也是Bengio发明的，然后被谷歌采纳用于Transformer，然后成为所有语言模型中的关键元素）。
也就是说，ChatGPT不仅用的都是别人的技术，还是很早就有的技术。
1 T5 R% _! Q0 h0 o0 k; F5 r, Y另外，LeCun还指出OpenAI的程序都用到了强化学习，也就是通过人类agent对机器的输出进行的排名（就像谷歌的网页排名一样），来改善系统性能。
而这种方法不是OpenAI，而是谷歌的DeepMind部门首创。
. e; B( t! [% p2 P) l! u* m5 q总而言之，LeCun认为，ChatGPT并非“凭空而来”，而是在此前这么多年这么多项技术的积累上组合出来的。
6 n4 J8 J6 S8 p( ~* g# A所以，它算不上底层技术上的创新：
; ^( l5 s. r# o$ E

与其说是科学突破的案例，不如说是体面的工程案例。

5 m  K7 v( a' v3 [! }% u. A有趣的是，LeCun还给ChatGPT找到了同样的例子。
5 H. d6 ~! A" N# e那就是赢得了DARPA 2005年挑战赛的自动驾驶汽车，来自企业家Sebastian Thrun。
他表示，该获奖项目用到的这个技术也是在基础科学方面并不是特别创新，只是设计得非常好。
好了，不管是现场听众还是屏幕前的你，现在肯定会问了：
你说OpenAI的ChatGPT“没什么大不了的”，那为什么谷歌和Meta等公司都没人做出来呢？
对此，LeCun“有备而来”，笑着自问自答道：
0 |9 F6 c5 Z9 O4 p3 \( H. R它们不是不能，是不想，因为做这种东西太费钱了，得不到什么收益。
$ g9 I8 Z4 y( D7 n6 [/ Y
: a0 ^$ m0 }; A
' G/ Q. N6 j' K0 F+ X
" J+ {3 a! z, `: H
& `' g1 v+ v8 P' R; h% G$ D7 C网友：你就酸吧


媒体ZDNet将LeCun的这些观点整理成文章进行了发表，得到了LeCun本人的亲自转发。
并在转发语中再次强调ChatGPT和其他大型语言模型LLM并非凭空而来，而是数十年来不同人贡献的成果。
. w. U* {/ I$ Q! {" i9 `: l3 Z8 H因此，没有AI实验室已经明显领先于其他实验室。（也就是说OpenAI还是那个OpenAI，没有因为ChatGPT就比别人更牛了）
% ~/ Z* C% ~- H) ]' N& j" H
# _  O) E# m7 n9 u6 Y
3 f! s" _9 E/ O$ q9 c
对于此番言论，有网友的评价却是：
9 j" b* d/ f6 p: HLeCun，你在嫉妒在“酸”。
具体be like：
/ A; g9 P$ n8 D# M# D5 c“LeCun这个观点多有意思啊，就是想说Meta的技术与其他实验室不相上下，没有产品只是因为Meta领导层不愿意做。”

+ j$ l) d- W3 U4 z4 X$ ^# x
- @9 \! {% W8 a9 a5 _4 Y+ i7 C
“如果Galactica（Meta的语言模型）也获得了类似ChatGPT的成功，你就不会说这仅仅是几十年来各种人的贡献的结果。你的观点听起来让人觉得是你很嫉妒。我认为如果你能衷心祝贺OpenAI，大家可能还会对你赞许有加。”
+ X8 j, f9 d2 V4 ?
; K4 b  L2 H# _
, [: ?+ Y* N6 {# n& J
言辞可以算是很犀利了。
5 F( O1 b) [$ A' Q& ~6 f, E于是，就在今天，LeCun又作出了这样一个公开说明：
% h* Z2 ~8 r) t3 D* s

我不是在批评OpenAI的工作或他们的主张。
而是想纠正一下公众和媒体的看法，大家说它是一个“全新的突破”这样评价真的太高了。
. f1 U- ]) m# u( m

# U9 g2 L. w* ^' z% c6 {' O9 ]
" p& @, A) F) C! y' |0 f  [
$ Z+ |4 H; a9 Z2 v8 L( ^) _你认为ChatGPT究竟配不配得上这样的评价呢？
* ?  c6 h% f$ V& i! _[1]https://www.zdnet.com/article/chatgpt-is-not-particularly-innovative-and-nothing-revolutionary-says-metas-chief-ai-scientist/
+ v/ \- B: B# L. ?1 g5 V; B[2]https://twitter.com/ylecun/status/1617921903934726144
[3]https://twitter.com/ylecun/status/1617609026820542464
2 f( M9 K# K1 W* q' K5 r, u