京东6.18大促主会场领京享红包更优惠

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 952|回复: 0

文心一言 VS GPT-4实测!百度背水一战交卷

[复制链接]

1647

主题

726

回帖

6767

积分

论坛元老

积分
6767
发表于 2023-3-17 10:34:34 | 显示全部楼层 |阅读模式 来自 安徽
编辑部 发自 凹非寺+ P" G  W( M: L( J3 E: k
             量子位 | 公众号 QbitAI/ Q2 Q6 O! T- m
             GPT-4发布一天之后,压力全部给到百度这边。) U+ y7 `4 x9 p' O3 ]# g; q
             就在刚刚,百度交卷。
  v: W0 _, _4 T& j+ V* n% ?             文心一言,百度全新一代知识增强大语言模型,正式在百度总部“挥手点江山”会议室里发布。
& r2 u* i+ l# T             在一片静寂的氛围里,李彦宏小步登场,语气里带着点紧张:
) [; S# Z7 p6 ]/ k% t( S, T             大家的期望值,是我们对标ChatGPT,对标GPT-4,这个门槛有点高(笑)。
! T9 v" h+ r) u1 h& v' n             十月怀胎,我们就带大家来看看这个AI大模型文心一言长什么样。
- W0 a% G0 v! A8 r0 E7 \  q$ R+ V                          5 L+ j8 A, {, U' [: l* l" f- q2 p
             此前,有人狂转meme图把百度比作GPT-4旁边的垃圾箱。+ g: \1 E, l( {+ \: t9 R- Z5 r8 P
                          
7 Q% Q- r1 B, d( P6 W/ @7 g             也有人鼓吹百度是全村的希望。
3 f  X7 ]- e* r             而在发布会进行的同时,百度港股市值大幅下跌,相关话题还冲上了微博热搜。
: }/ M. J- p- Y. i# N- l7 H                          $ k7 `. ^6 Q' [9 H/ K  J) E
             但直播弹幕中也有网友点赞:
) z9 F/ W6 Y( w7 z% a1 f; D                          
2 o' h5 z& N4 p; u. _             那么这个中国版ChatGPT到底实力如何?- j. q' e( `+ `3 E
             咱们就用百度发布会演示的预录制Demo,对比一下崭新出炉的GPT-4,先凭实力说话。
; m9 M' |% @6 L: M             文心一言 vs GPT-4) u1 \" Q, H! z! Z
             和GPT-4一样,文心一言是一个多模态大模型
6 ~$ h# O" ~. b5 d6 {! C             李彦宏开场就展示了文心一言具备的5种能力,包括文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成
$ {$ t+ Z0 T" E- _. N3 [             文心一言甚至还现场秀了一口接地气的四川话,现场网友发出一片笑声。
* |# ^7 m' h) V: X             其他能力如何?我们具体展开来看。
" D- N" j- u$ ~) W5 M" F$ a' R7 }+ d             文学创作
$ _0 x- x  q: ?; @% i4 A             在文学创作上,李彦宏一开场就搬出了《三体》作者刘慈欣坐镇。8 d4 j8 _( v: I0 E( a8 M; d
             先让文心一言介绍一下大刘,“毕竟我也是刘慈欣老乡嘛”:/ ^: e) r/ X- [4 f/ p
                          , ?4 \+ ]0 T* ~, g: T, B, O
             看起来没什么问题。同样的问题问问GPT-4呢?
' l3 t$ i/ A- m+ I1 W( a+ T                          
* y5 S. u3 G5 g+ I' V             嗯???直接把刘慈欣的老家挪到了湖北省洪湖市。湖北人狂喜(doge)8 [, }! y, g1 I! w3 w
             随后,李彦宏又展示了从哲学的角度对这段文章进行续写的demo:
$ E5 O4 _. V7 t9 r# F                          
+ v; s4 Y4 j% T: t& S0 r             看起来中规中矩,比较理性。老样子,我们也来与GPT-4进行一波对比:: k6 C) ]5 p$ B  w4 N
                          
: f- P& |1 k+ i6 p4 P; k* p$ C6 y             这波你是想看GPT-4续写的《三体》,还是文心一言的?
  E  P* J4 o/ h" B$ K             再来看看《三体》电视剧中扮演史强和汪淼的老搭档,于和伟和张鲁一,有什么共同点?
( Y# o  [2 L  V2 m' R8 q- s& G: y                          
8 m$ I/ L4 I: j& c) W" W# i* T             也没什么问题。
' E7 U6 b! V4 J7 ?+ r5 j6 V             就是看起来展示的速度有点快,比李彦宏的语速还要快上那么一点点(手动狗头)。
8 G; W4 i. D, h6 u. }2 t                          9 L# p2 \& Z# K! Y( }- M( B! g
             商业文案创作
" \8 x6 M% j" h             接下来,李彦宏又展示了一下文心一言在商业文案创作上的能力。
: d. o% ?& t3 s* Z% j$ h9 m. D" g. _* H             比如给新公司起个名字。1 k6 A5 d+ |- a: y
                          
9 f& R" w  T8 S$ V' _3 p             并且这个名字它还不是瞎起的:1 I; f& C  Z4 {
                          
/ K; Y1 |, J2 Z  U             再来看看GPT-4起名的效果?9 g$ q) k4 Y1 V0 k) a$ b: }8 I, r
                          % C9 F5 J5 e, a  X2 D
             看起来,GPT-4对中文的掌控能力相比之下还是少了一点精髓。! n9 @6 m8 p0 X. H: v# r) R* ]6 |/ V
             至于写个公司成立的新闻稿?对文心一言来说似乎也不成问题:
3 k& m3 P, Z/ l1 {( X                          
8 F/ f/ {( v  v7 r5 }0 @             数理逻辑推算9 y+ D0 L( I" S$ k8 `% j) U9 k
             数学能力,是考验生成式大模型的一大难题。ChatGPT刚上线时,也翻了不少车。
6 m& B: D/ }  i2 h3 v             不过在现场,文心一言处理的数学问题不算复杂,是小学数学竞赛常见的鸡兔同笼问题。/ [1 z2 L0 N, S* ]8 P0 |5 F& o3 g7 L
                          
7 o* }" {3 b/ x/ R, l             彩蛋是,李彦宏现场展示的第一题,引得文心一言说出了《狂飙》里高启盛的经典台词:这题出得不对。
( F$ w; j- a+ S7 F& ^                          
4 P4 `7 S2 E( Q& y$ \% ~- Y             修改一下题目,OK,再扔给文心一言试试:
- \3 @$ e! N, O2 J( M( [  e                          
' g9 F+ L* O( u9 j2 G* G1 a             看起来,答案还算是有理有据,一步步逻辑推理出来的那种。
! G. a2 C7 j$ R) c             李彦宏表示,这些题“不敢说百分之一百能做对,但至少体现了文心一言的思考历程”。9 ]) J; {. S; w. d3 D' c
             中文理解
5 H* Q' `5 ^# V. Z% H             接下来,李彦宏着重展示了一下文心一言对中文的理解能力,并特意强调:/ t- e! q. J# M6 r2 b1 Q
             文心一言对中国文化的了解,理应超出任何一个预训练大模型。4 D; B" [4 o2 v' O
             一上来就是一个成语,“洛阳纸贵。到底有多贵?”( N' K4 y* d2 |' k8 e
                          
! O7 M0 p- H: \% l             这是文心一言的效果展示:
+ A/ j1 ?4 v  }4 x9 @: E                          3 c- M1 v3 U+ r5 b5 {
             还解释了一下这个成语背后的经济学原理:
- H, Q7 T5 ?2 \" P+ j3 ?                          6 B( D6 |5 k: f
             那么,将这个问题抛给GPT-4呢?首先问问它,知不知道洛阳纸贵是什么意思:
; M! B& g, S( t; ~( k8 t                          $ ~2 t0 C! P6 T2 v# g
             接下来,再问问他对应的经济学理论是什么:# A' F8 N% T; I
                          * i: I1 f1 k# l% t% c1 x+ m/ Z2 `
             这波看起来,GPT-4的中文理解似乎也不输文心一言啊。
+ r5 r% o1 A4 }8 X8 J  a             那么,再来看看二者写藏头诗的能力?( n  X/ `6 b+ ^) |1 y
             首先是文心一言的效果展示:
. S  e& V" [3 r  }5 i4 w2 D8 u9 y                          3 z: F* ~8 [. c
             接下来,我们再看看GPT-4怎么说:3 v$ d! k9 T! ?
                          
5 V8 X" O2 g! t2 p             诶,看起来反而是GPT-4没有真正理解“藏头诗”的含义。
' q! y! {+ h# X+ j* h" T5 R             这波文化理解上,属实是文心一言“小胜一筹”了。
$ M) V8 ?1 c$ N$ s% ~& e             不过在英文上,李彦宏也承认,虽然文心一言也能处理,但能力是显著不如中文的。
9 S6 @+ K1 W8 }3 R/ F             这也和百度目前能用到的训练数据有关。  \6 S' s& P8 }& r" B3 Z
             多模态生成0 ^) U/ J6 ]+ Y9 z
             最后,李彦宏还简单展示了一下文心一言多模态生成的能力。( e/ z. g( G! j/ A7 v
             首先来看看,为即将到来的2023世界智能交通大会创作海报——
1 n1 x5 t8 O, E& x                          : _1 U0 @; s. H
             而除了前文展示过的文字转四川话能力,文心一言还能文字转视频
- V7 a0 g6 {" M/ m& x* J             李彦宏一句指令“将以上内容生成视频”,很快啊,不到几秒钟,文心一言就把字幕和视频做好了:
: c' _* F6 F6 ~! C$ k) p  Q                          & e( B! P' [# {1 V0 f  ?
             有些遗憾的是,在ChatGPT被频频称赞的编程方面,文心一言并没有现场展示相关能力。1 w4 D9 N6 y0 U. n! R) [8 _
             但王海峰透露,文心一言的训练数据中同样包括代码。
1 L8 P  p0 M3 A8 @' p' O( k7 r             文心一言如何“跑通”?2 `( `/ f8 F- N
             正如ChatGPT脱胎于OpenAI的GPT系列,百度这次推出的文心一言(ERNIE Bot),背后也正是基于文心大模型技术打造。
  P5 |2 F. s6 w  w1 T7 N             据王海峰介绍,文心一言主要脱胎于两大模型:
) y; n. S. {  x+ U" ]             百度ERNIE系列知识增强千亿大模型,以及百度大规模开放域对话模型PLATO。- c, r# N" \; B9 J1 S
             在此基础上,主要采用了六项核心技术
0 K: U. n) o( u- @) N             其中三个是广为人知的大模型技术,包括有监督精调、人类反馈强化学习(RLHF)和提示构建。
+ i9 D+ o  Q7 l, m: m( _# x             p.s. 人类反馈强化学习也是ChatGPT的关键技术。
: K3 S) Z+ d7 p& y- W; A% b. g             另外三个,则是“百度比较有特色”的技术,包括知识增强、检索增强和对话增强技术。' F& `9 M2 M: q/ C6 L0 N6 k
                          
, x3 R7 _- n( [5 g' [% Z. Z% L, S0 r             首先来看与ChatGPT类似的技术:有监督精调、RLHF和提示构建。6 J- Q' C( z1 i, [
             有监督精调,尤其指中文方面的数据精调。百度基于对中国语言文化和中国应用场景的理解,筛选了特定的数据来训练模型。
4 a% e7 W1 O8 o                          
* A# x9 D2 W2 K: h8 x' W5 }             至于人类反馈的强化学习(RLHF)和提示构建,操作上也与ChatGPT大差不差。' d$ h7 M' h/ u& {+ ?- ~. I( [
                          
( ], `6 r0 `4 ]! v2 s             随后是百度提出的、用于进一步改善模型效果的技术。
0 N7 S' d  M; q$ a1 p             知识增强,包括知识内化和知识外用两个部分。其中,知识内化即将知识“渗透”进模型参数中;知识外用指的是模型可以直接使用外部的知识。
% b  `+ p' ]" S6 O% q: `                          9 d: f- }3 s3 a; i
             检索增强,则与百度搜索引擎积累的检索技术有关。4 v. |) G7 N/ V
             百度将把检索技术和生成技术结合起来,先对内容进行检索后,将比较有用的部分用于生成,再整合输出结果:* u/ q5 q* Y3 H* _
                          
! W) A0 R' U, f, E             最后是对话增强部分,包括之前百度积累的记忆机制、上下文理解和对话规划等技术:4 e/ m* ~3 K' [3 N
                          , `; Z' r9 y' h. [" W5 t! @( H
             概括来看,文心一言表现出的能力,被李彦宏称为“智能涌现”:: A4 {) K; B5 U9 O& z
             当参数达到千亿量级,训练语料达到足够多的情况下,这种现象就会发生。5 J3 |) o& Q* I: n7 j6 _
             目前,百度拥有的AI技术可以分为四个部分,芯片(昆仑芯)、框架(飞桨)、模型(文心)和应用。: d( a, P$ g: c% [
             之所以软硬件都要布局,百度称,是为了降低成本2 {% j) e  ?- ]5 p. S# \
             生成式AI需求的算力非常高,费用相当昂贵。9 G1 J  X+ G- K) H" r$ e
             因此,如果在四层架构之间相互进行协同优化,就能让它的效率比别人更高,从而显著降低成本。4 e& j/ v# l0 ~0 e7 |, W
             李彦宏认为,这也正是百度的优势所在:
( v; ?9 @+ i( ]+ Z6 f/ w+ L             四层都有领先产品的公司,绝无仅有。2 X. E8 H5 M1 \9 Y; g* O! H2 `
                          - u$ k$ z# k. j" p+ O- S
             这次文心大模型背后的硬件算力,也是通过百度智能云提供服务。5 K0 z5 }+ l# ?% v
             目前,文心一言已经接入百度搜索,目的在于提升搜索资源效率。1 o& y8 J0 m7 e$ e
             同时,包括小度和自动驾驶Apollo等产品,以及爱奇艺等公司也已经接入百度的文心一言模型。
: Q8 H7 T  K/ W7 k                          
/ p& r: r1 s/ z2 e; ?4 a) c2 U$ K             网友:看来还不用提前退休/ g" A. S) Z. j7 k' P; G
             截至发稿,百度港股股价在一波明显下跌之后,有所回弹。
# f( J' n6 H) g) P1 Q7 @                          ! L% t  Z; c* Z4 h& Y
             发布会结束,网友反应最多的是“提前录制有点败好感”:
: K4 Q& Q  H' h5 a                          
" W; M2 b6 s" p% H& x                          
1 b' r, {4 K, h% o/ c             对于这一点,李彦宏的解释是,给出的问题都比较长,为了节约现场时间,所以才用了提前录制的形式。
9 r6 ~+ F) F$ e) r+ u1 P             还有不少网友对文心一言展示出的能力不太满意。有人调侃,看完之后感觉“提前退休的日子看起来还可以缓一缓”:
* D! [) X% V/ Y5 j) ~. K/ I                            g: i: E+ m7 [% V. e
             离GPT-4还差了20个老胡。) p4 l& i4 Z. f5 r/ y8 V& E# N" b* J6 h: U
                          & z! R" E5 b$ {% P
             还有网友感觉,文心一言的发布会像极了毕业答辩的自己(doge):2 |0 d$ h. h. \2 n$ j
                          0 P/ z( F; q) a5 g- h+ o; M/ N
             不过也有网友表示,希望能给国产产品一点时间一点耐心。( T+ k- p! B; j+ J- J: K0 y
                          # d- [- e1 T5 [! |
             发布会末尾,王海峰宣布,文心一言将从今天开始对外进行测试,包括个人用户和企业用户。' a! E* x3 I9 w: ^5 ?; |& V
             是骡子是马,相信接下来,会得到更多验证。- o( ~0 q' b9 H) j" L/ m9 b
             One More Thing
& C5 L9 \" T2 a             对了,有网友表示,已经拿到了文心一言的内测资格:  t0 \) u: {  A! u
             你好,感谢您体验文心一言,体验地址:1 ?/ D5 I. F5 m) K" o0 W1 \/ c0 s
             https://yiyan.baidu.com/welcome,希望您在体验当中给予更多意见,文心一言邀请码:KFCVME50RMB,2023年3月16日24:00前有效。, M: S6 R; y$ `- F, S0 S( t2 @
             嗯,万物疯狂星期四(手动狗头)。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

帖子地址: 

梦想之都-俊月星空 优酷自频道欢迎您 http://i.youku.com/zhaojun917
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|梦想之都-俊月星空 ( 粤ICP备18056059号 )|网站地图

GMT+8, 2026-4-20 19:19 , Processed in 0.039938 second(s), 24 queries .

Powered by Mxzdjyxk! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表