京东6.18大促主会场领京享红包更优惠

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 951|回复: 0

文心一言 VS GPT-4实测!百度背水一战交卷

[复制链接]

1647

主题

726

回帖

6767

积分

论坛元老

积分
6767
发表于 2023-3-17 10:34:34 | 显示全部楼层 |阅读模式 来自 安徽
编辑部 发自 凹非寺% Y0 s! @: A* S$ i4 `
             量子位 | 公众号 QbitAI; E% j9 y- |; \+ T4 X$ y
             GPT-4发布一天之后,压力全部给到百度这边。
9 x) `# M1 ?" S' o             就在刚刚,百度交卷。
2 Z  T) _+ w* L* J9 L; U( i             文心一言,百度全新一代知识增强大语言模型,正式在百度总部“挥手点江山”会议室里发布。) R) [% }4 d+ i, t
             在一片静寂的氛围里,李彦宏小步登场,语气里带着点紧张:- S' |; P# v1 T6 R& _# A/ z1 }
             大家的期望值,是我们对标ChatGPT,对标GPT-4,这个门槛有点高(笑)。) C1 S3 Y5 x% Y: d7 G/ D' J; E& k; e
             十月怀胎,我们就带大家来看看这个AI大模型文心一言长什么样。" ^: d) {1 }0 j. Q% P: Q9 Z4 H
                          
: N: w: \& I+ v# }8 P             此前,有人狂转meme图把百度比作GPT-4旁边的垃圾箱。
( v1 U* Y6 S( g1 W                          ( q9 z6 ~1 ?2 K4 c+ _5 d+ g
             也有人鼓吹百度是全村的希望。: \3 p0 Y0 [( j0 l3 u3 R
             而在发布会进行的同时,百度港股市值大幅下跌,相关话题还冲上了微博热搜。; E3 r% }) g7 Z8 N
                          
' O( F0 Q. U3 |/ r7 a5 _2 F             但直播弹幕中也有网友点赞:
! {+ ?% }! P  o; b  f" O. ^  k' F                          
' N. h& V+ u6 {             那么这个中国版ChatGPT到底实力如何?
9 V2 \4 A: S5 \0 ^* @! j9 V             咱们就用百度发布会演示的预录制Demo,对比一下崭新出炉的GPT-4,先凭实力说话。' C) R2 \/ S1 i1 v
             文心一言 vs GPT-4! Y6 h4 T. K, H
             和GPT-4一样,文心一言是一个多模态大模型
9 {0 p& ?3 M3 Q: U! T. m             李彦宏开场就展示了文心一言具备的5种能力,包括文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成- t$ s9 M8 L. w* M) L* x
             文心一言甚至还现场秀了一口接地气的四川话,现场网友发出一片笑声。
2 m  G5 e+ o+ y; f7 g4 ?5 {2 [: @             其他能力如何?我们具体展开来看。2 B* Q$ K, ?5 J8 h+ p0 g
             文学创作9 G$ J* F& U5 ?9 I" A, z& F7 f
             在文学创作上,李彦宏一开场就搬出了《三体》作者刘慈欣坐镇。
( o9 \% [% R% q' |! ]3 |; M             先让文心一言介绍一下大刘,“毕竟我也是刘慈欣老乡嘛”:' B3 d% D/ {. A+ R; s
                          
$ F! }- T, Q  X1 K. O             看起来没什么问题。同样的问题问问GPT-4呢?
. F# U& y/ c* G! u$ F                          
' }6 `( s6 x$ S6 _             嗯???直接把刘慈欣的老家挪到了湖北省洪湖市。湖北人狂喜(doge)5 X7 N5 Y3 [- I
             随后,李彦宏又展示了从哲学的角度对这段文章进行续写的demo:. Z! u& Q4 S% ^& i. k6 h* C- T
                          5 Z: T& c# V1 {; Q# e" ?+ D
             看起来中规中矩,比较理性。老样子,我们也来与GPT-4进行一波对比:
) g/ ]' U6 i4 c                          
: U( k* Q# K# U( j             这波你是想看GPT-4续写的《三体》,还是文心一言的?4 J; J1 S: ]6 X* C8 T' ~; I
             再来看看《三体》电视剧中扮演史强和汪淼的老搭档,于和伟和张鲁一,有什么共同点?
7 \$ b# X9 Z0 M' F; V0 r                          
+ @9 u9 W; b3 i: a5 z; ?6 \             也没什么问题。" j6 P" g- G! w! a/ U
             就是看起来展示的速度有点快,比李彦宏的语速还要快上那么一点点(手动狗头)。8 x* V7 g- r' h6 A4 T
                          & H0 @' U2 s# I% H
             商业文案创作
3 o* E' `& r# s# `/ p# z2 A             接下来,李彦宏又展示了一下文心一言在商业文案创作上的能力。
" x# L5 l4 u& [; E: M1 K9 p+ e+ r$ k4 |             比如给新公司起个名字。
1 p6 f8 D2 D3 L+ B( _                          $ S6 C9 M9 a: I+ m" u; A; T* o5 W$ D
             并且这个名字它还不是瞎起的:: n( X% S" ^9 D& W/ E
                          
7 Q+ H9 v2 ?$ g0 M, }/ E             再来看看GPT-4起名的效果?: q, e4 d0 j5 W4 e# Y7 T. ~
                          
! A5 J& ]+ |, X0 R1 R1 e/ N             看起来,GPT-4对中文的掌控能力相比之下还是少了一点精髓。
: J. ?7 [6 F; v; N4 k% _             至于写个公司成立的新闻稿?对文心一言来说似乎也不成问题:0 Z6 m  x, \* \
                          
4 g5 b, V7 k: Z7 E9 x5 X) x             数理逻辑推算
# \6 e# v0 P% r) Y             数学能力,是考验生成式大模型的一大难题。ChatGPT刚上线时,也翻了不少车。; D7 ]) O: u# _5 B+ E# X
             不过在现场,文心一言处理的数学问题不算复杂,是小学数学竞赛常见的鸡兔同笼问题。3 ^$ p: u  S. |
                          0 m$ W% ]" u" A, P8 e) l8 D9 U2 o( Y
             彩蛋是,李彦宏现场展示的第一题,引得文心一言说出了《狂飙》里高启盛的经典台词:这题出得不对。) T8 I) E$ I1 L$ T: R  h
                          
$ U+ N9 ]1 Y/ R7 @& m9 ~             修改一下题目,OK,再扔给文心一言试试:
/ k- u' T- z( Y1 m1 w7 g) g                          
$ t; Q0 p5 \& Q9 w( z: x             看起来,答案还算是有理有据,一步步逻辑推理出来的那种。! J. \/ K" b) J2 i! C$ ~2 x* h! T2 b4 X1 P
             李彦宏表示,这些题“不敢说百分之一百能做对,但至少体现了文心一言的思考历程”。; @5 i& a+ S; I" J6 G8 o4 Z
             中文理解
1 u( ~. [+ c8 F4 d  V: T             接下来,李彦宏着重展示了一下文心一言对中文的理解能力,并特意强调:0 h. q7 @- A1 ]+ Z% v
             文心一言对中国文化的了解,理应超出任何一个预训练大模型。+ G+ f  U8 x( t
             一上来就是一个成语,“洛阳纸贵。到底有多贵?”0 x, v+ U( H' Z5 R) c  t# Y
                          
3 N+ `- Z, t; o! M& G             这是文心一言的效果展示:# i- J3 j2 P6 J8 a: J( q0 S# h
                          * U4 G2 H/ n: M3 ?; {/ n
             还解释了一下这个成语背后的经济学原理:
  U1 w" J) p+ J: W5 A                          8 v8 k0 W, |  \. K  u0 D# R
             那么,将这个问题抛给GPT-4呢?首先问问它,知不知道洛阳纸贵是什么意思:6 e# }; g1 k5 |0 T$ C! |+ c
                          
5 i3 c( S5 Z% Z/ ]; d  e             接下来,再问问他对应的经济学理论是什么:9 X2 A5 I" U7 a' Q
                          
7 K+ C( n* i7 {& ^! ~             这波看起来,GPT-4的中文理解似乎也不输文心一言啊。
. `1 z% G/ _: m             那么,再来看看二者写藏头诗的能力?' w- n. l2 M% m  ^$ o6 c
             首先是文心一言的效果展示:; I# _0 F+ }2 H! s6 {
                          
* t( S0 |5 i) E$ Y             接下来,我们再看看GPT-4怎么说:
% }, d- c* A- h1 m                          
+ x+ X, K/ i% ]             诶,看起来反而是GPT-4没有真正理解“藏头诗”的含义。
+ O$ j2 U; k$ m; t; h             这波文化理解上,属实是文心一言“小胜一筹”了。
: `4 X! e' t) |             不过在英文上,李彦宏也承认,虽然文心一言也能处理,但能力是显著不如中文的。0 V( U4 f: D9 A/ F8 L' Z3 M* p
             这也和百度目前能用到的训练数据有关。! Z7 f, a- L( G- x
             多模态生成
' ]+ d- v. B! }! c. [  U3 x3 H; C             最后,李彦宏还简单展示了一下文心一言多模态生成的能力。
/ |' w4 `( Q! j$ E+ u             首先来看看,为即将到来的2023世界智能交通大会创作海报——
2 |5 w  Y- ^) s$ I* c- {: e                          
3 p2 z4 ?* G, ]$ Z' G& V             而除了前文展示过的文字转四川话能力,文心一言还能文字转视频
# L4 O" ?' P3 W+ z: `5 A3 f9 n             李彦宏一句指令“将以上内容生成视频”,很快啊,不到几秒钟,文心一言就把字幕和视频做好了:! z' I$ E; U+ d4 E4 n
                          
& T( l4 y: j  Y/ x3 {             有些遗憾的是,在ChatGPT被频频称赞的编程方面,文心一言并没有现场展示相关能力。
" O9 w5 z) D# E4 f: O             但王海峰透露,文心一言的训练数据中同样包括代码。* ^" Z! ~0 ?' k* N
             文心一言如何“跑通”?8 r' [& h9 m: y! H
             正如ChatGPT脱胎于OpenAI的GPT系列,百度这次推出的文心一言(ERNIE Bot),背后也正是基于文心大模型技术打造。: a: h& b) [+ T5 F8 N! G
             据王海峰介绍,文心一言主要脱胎于两大模型:
) O6 h' J  ~4 W* W             百度ERNIE系列知识增强千亿大模型,以及百度大规模开放域对话模型PLATO。
# ^& i  K4 ]( R7 L# c. z             在此基础上,主要采用了六项核心技术/ s  h  l! `8 U* O) r/ F
             其中三个是广为人知的大模型技术,包括有监督精调、人类反馈强化学习(RLHF)和提示构建。
3 o" F9 D+ n/ f) ^3 V, W             p.s. 人类反馈强化学习也是ChatGPT的关键技术。2 j( \/ u- l( t( j
             另外三个,则是“百度比较有特色”的技术,包括知识增强、检索增强和对话增强技术。6 ?2 `( {6 c5 P% T/ ?5 N
                          
' Q. }+ K7 H5 G             首先来看与ChatGPT类似的技术:有监督精调、RLHF和提示构建。. O- g# A5 [- E( ~- E
             有监督精调,尤其指中文方面的数据精调。百度基于对中国语言文化和中国应用场景的理解,筛选了特定的数据来训练模型。
7 q. X9 f0 Y/ @  e  S; [                          # W5 s8 g# n3 B' A6 u& q8 N
             至于人类反馈的强化学习(RLHF)和提示构建,操作上也与ChatGPT大差不差。
4 D6 @" w0 B. [6 e                          
7 y: Z& t4 x, m5 S6 f& R) H. X, Q             随后是百度提出的、用于进一步改善模型效果的技术。" z% ^, l* g1 {# Q1 [9 \+ h# ?
             知识增强,包括知识内化和知识外用两个部分。其中,知识内化即将知识“渗透”进模型参数中;知识外用指的是模型可以直接使用外部的知识。- v( x4 C. D* m9 }
                          
% N( ?: T4 D6 f/ i: @" z: m7 {             检索增强,则与百度搜索引擎积累的检索技术有关。; a+ D  ^. a$ w/ A0 t" r0 q; x& F
             百度将把检索技术和生成技术结合起来,先对内容进行检索后,将比较有用的部分用于生成,再整合输出结果:
+ \" z4 N7 c, C7 D3 C                          
' L+ H# l% c7 ]             最后是对话增强部分,包括之前百度积累的记忆机制、上下文理解和对话规划等技术:* w6 n+ ]2 B. {# D! p4 T
                          
9 a8 F% W  N+ l2 K( c! D. E2 V             概括来看,文心一言表现出的能力,被李彦宏称为“智能涌现”:
8 g6 N& T* E9 T$ b             当参数达到千亿量级,训练语料达到足够多的情况下,这种现象就会发生。
7 C' g! L/ V4 L0 `- j* x             目前,百度拥有的AI技术可以分为四个部分,芯片(昆仑芯)、框架(飞桨)、模型(文心)和应用。% |+ e/ z3 D0 j# @2 @' e1 z5 V
             之所以软硬件都要布局,百度称,是为了降低成本8 B; x+ V2 k$ l
             生成式AI需求的算力非常高,费用相当昂贵。
. Z' p2 q# {( {" C+ X$ N+ p3 c             因此,如果在四层架构之间相互进行协同优化,就能让它的效率比别人更高,从而显著降低成本。% `; `* p. [3 M
             李彦宏认为,这也正是百度的优势所在:! V% y. A6 }5 @+ Y- j, E6 N
             四层都有领先产品的公司,绝无仅有。
* o+ `% h3 w% k2 x. Z                          
4 G9 L: z4 z4 G             这次文心大模型背后的硬件算力,也是通过百度智能云提供服务。  S5 |) e& L/ ~8 {
             目前,文心一言已经接入百度搜索,目的在于提升搜索资源效率。+ R5 c7 K1 c* c: x! `0 S2 E1 _& n
             同时,包括小度和自动驾驶Apollo等产品,以及爱奇艺等公司也已经接入百度的文心一言模型。* F; l% K3 h/ K0 r" G
                          9 G! D/ ?( \( a# [7 y8 r
             网友:看来还不用提前退休
# @6 P4 X/ w* s# G( ~             截至发稿,百度港股股价在一波明显下跌之后,有所回弹。: j: p4 e  Z  ], y  q( l) R
                          - a2 z3 \+ b, T6 K" w( t" t( M
             发布会结束,网友反应最多的是“提前录制有点败好感”:
! R6 D. B. Z. g& _  D7 e- ^                          , m  A9 n8 B- i: @* b+ g/ v
                          : Y! B4 }2 c: [+ k
             对于这一点,李彦宏的解释是,给出的问题都比较长,为了节约现场时间,所以才用了提前录制的形式。7 f; z* c* R' i0 ]! I9 J  x2 t
             还有不少网友对文心一言展示出的能力不太满意。有人调侃,看完之后感觉“提前退休的日子看起来还可以缓一缓”:* h. t# G# `4 a4 i$ T5 T  L
                          
+ n' i+ P$ v) H             离GPT-4还差了20个老胡。4 [3 R7 V( h& \
                          
5 s( ?  Y: L% f, v; E             还有网友感觉,文心一言的发布会像极了毕业答辩的自己(doge):# Z+ @3 ?. p! [, Q- ?; G$ M* k
                          , \- s& y- d. C" M( g5 ?
             不过也有网友表示,希望能给国产产品一点时间一点耐心。
3 G, r, a! v7 o. y" u! E' N                          
! S* _  s( E, [: X: K: s" q' R             发布会末尾,王海峰宣布,文心一言将从今天开始对外进行测试,包括个人用户和企业用户。
4 j" @9 }4 J2 H1 j* z. l- a             是骡子是马,相信接下来,会得到更多验证。, q* c/ w) p: K. V+ `5 q1 Z. y
             One More Thing2 k4 u2 |8 t4 B& ^, h+ B7 U
             对了,有网友表示,已经拿到了文心一言的内测资格:
/ V2 f2 `2 X# A2 A) ^/ ^& Q             你好,感谢您体验文心一言,体验地址:
/ l, r; x% f! J/ n- F6 O! q& E             https://yiyan.baidu.com/welcome,希望您在体验当中给予更多意见,文心一言邀请码:KFCVME50RMB,2023年3月16日24:00前有效。: _1 o. i* W) |- {7 }
             嗯,万物疯狂星期四(手动狗头)。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

帖子地址: 

梦想之都-俊月星空 优酷自频道欢迎您 http://i.youku.com/zhaojun917
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|梦想之都-俊月星空 ( 粤ICP备18056059号 )|网站地图

GMT+8, 2026-4-20 17:48 , Processed in 0.056895 second(s), 23 queries .

Powered by Mxzdjyxk! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表