|
|
$ \* X; C6 Z. j3 z/ c
9 x& n0 g; e; n/ m2 J新智元报道
3 N# j7 V/ C2 _' ]9 O$ t编辑：编辑部
, z9 H: @2 B2 q3 E$ W) u【新智元导读】2月20日，复旦大学邱锡鹏团队推出中国版ChatGPT「MOSS」。发布当晚，服务器被挤爆。2月21日，复旦MOSS团队致歉，称模型还不成熟。: c; r% m) F T; @0 J" g5 q
今天，MOSS又火了。不仅登顶知乎热榜，收获近千万流量，还引来诸多媒体竞相报道。
0 w4 X2 @. Y7 [* \+ d( h. D3 b" M
% }0 u! q" G& {( G6 @+ g1 S% W, d5 h" ]. e
不过，这次出圈的，不是陪刘培强流浪的MOSS，而是复旦大学研发的中国版ChatGPT。3 E, U1 ?3 S4 P+ X& |
* E2 ?2 t! D: \9 F* d' Q/ l
国内首个对话式大型语言模型
- r4 y9 v( E+ t- n3 AChatGPT自发布以来，已经收获了全球巨大关注。尤其是在春节后，ChatGPT突然走红，许多网友开始期待中国版聊天机器人的诞生。
3 t& \, ^. Z! z* {现在，这个愿望得以实现。复旦大学自然语言处理实验室表示，国内第一个对话式大型语言模型「MOSS」已由邱锡鹏教授团队发布至公开平台，邀公众参与内测。
0 E9 r1 y; i5 [9 L! e, ]& u. l4 W% G0 U. `
! B/ ~" g# h4 h6 s0 A
MOSS可以执行一系列任务，如对话生成、编程、事实问答等。官网称，MOSS为生成的语言模型打开所有技术路径，以理解人类意图并具有对话能力。9 d6 l) e. [ {4 _* ^! L1 ?
MOSS的出现为国内学术界和业界提供了重要经验，并有助于进一步探索和应用大型语言模型。
% U6 o2 v) J! X& `团队负责人邱锡鹏表示：「尽管MOSS仍有很大的改进空间，但其推出证明，国内科研团队有能力在开发ChatGPT产品的道路上克服重要的技术挑战。」8 _ s) w* @9 q# u8 Q. W7 w
D4 v* g* |0 T4 s
+ S: f) ^, q. v7 \/ L据悉，MOSS研发项目得到了上海人工智能实验室的大力支持。后期，该项目将会通过开源方式，和行业人士与社区分享。4 ?" u1 s( t% A# @
开源代码，打造MaaS生态: Z4 _+ ~" G D/ Z6 i
MOSS的回答语言流畅、逻辑清晰且观点正确。科研团队在演示时，用英文输入多个指令，展示了MOSS多轮交互、表格生成、代码生成和解释能力。0 i& W9 x3 L" {
「告诉我5部科幻电影。」「生成一张展示这5部电影和导演的表格。」「增加一列表格，显示这些电影上映的时间。」在这个包含表格生成的多轮交互中，MOSS都顺利完成了任务。
+ f" K7 z2 m2 n3 w' e
' K* W/ Y( ]: W
- n9 ?5 s B, Y4 Y4 R然而，MOSS与ChatGPT最大的不同，在于其开源属性。+ P$ C5 w. y2 @; t
由于ChatGPT并未开源，其技术解决方案的细节尚未披露，研究人员对此有很多猜测。一些专家认为，ChatGPT是一个复杂的组合系统，无法通过单一的生成语言模型实现。
5 i; u. @: Z! f% _作为自然语言处理专家，邱锡鹏近年来一直致力于研究具有多任务学习能力的一般模型。为了探索ChatGPT的技术路线并获得LLM研究的一手经验，他带领团队加快了MOSS的开发。) T: d& o h( f9 t
+ y( I- q, G9 S$ j, g$ P4 c2 m
$ k E T6 z1 M% h) S. J `9 qMOSS开发的基本步骤与ChatGPT相同，包括两个阶段：自然语言模型的基座训练和理解人类意图的对话能力训练。
7 f3 T/ B, P/ \* G& Q在对话能力培训阶段，OpenAI收集了至少数十万条人工指令，要求各行各业的专业标注员编写指令回复，然后将其输入模型库，以帮助ChatGPT逐步理解各种指令。2 K" y) K! l5 V4 y9 I5 ~
复旦团队采用不同的技术路线，通过允许MOSS与人类和其他对话模式互动，并在短时间内高效完成对话能力培训，从而显著提高学习效率和研发效率。! y* b' R# w8 L+ N) Q0 K/ {
为了提高研发效率，MOSS团队选择开源代码。对此，MOSS模型的官方公告表示：
* G! V8 B5 |8 r( j
, V: K! H& L' Y& k! ?% I# Q预训练大语言模型的研发门槛很高，需要大量算力、训练语料和人工标注。在我国产业界，只有大型机构才有实力开发大模型。 MOSS开源后，可有效降低预训练语言模型的研发和应用门槛，让中小企业在其基础上开发出智能客服、智能家居、人工智能律师等各种垂直类产品。 " f$ h3 J) f5 l- m% o) L( m. H
推出伊始便开源代码，虽然可以提高数据收集和研发效率，但也不得不称为一个冒险的举动。然而，这也为未来企业的发展提供了一个新的思路：MaaS（基础模型服务）。
. ^' t0 U$ V8 y- Z: L" o5 E) M在未来，企业或许不需要在大模型领域「卷生卷死」，有了类似于MOSS的高质量LLM，企业只需对已经完备的模型进行微调，就能获得所需的品质良好的垂类产品。
' d5 Y' @' R5 F6 |5 H5 l9 u5 ~+ Y# O( F
取名MOSS，致敬《流浪地球》: y5 Y4 V. N4 e1 v
随着MOSS的推出，互联网上出现了怀疑的声音：为什么要叫MOSS？
6 T1 a; [- U7 ?5 G: n8 Z1 m4 E# \) T3 E+ k6 D
! W/ ?+ I/ Y1 c3 Y0 m
面对「蹭热度」的质疑，MOSS团队发公告予以澄清。公告称：0 ]0 N+ E+ J4 `; P
$ y( y! Q2 i3 _* {8 Q: ]7 V
尽管我们的对话模型和《流浪地球》中MOSS的能力不能相提并论，但就像过去NLP领域的其它优秀模型一样，作者们都希望使用自己喜欢的影视角色名称命名自己的模型，我们在训练完成第一代模型的时候，正值流浪地球2热映，片中MOSS给团队每个人都留下了深刻的印象，因此便使用了这样一个名称来指代我们的模型，以表示我们对最前沿AI模型的不懈追求。 " n5 T" ]9 p! q3 y
事实上，用大IP给科研项目命名并不是什么新鲜事。ChatGPT基础技术之一的Transformer，其名称来源于大热电影《变形金刚》（Transformer）。0 e4 I" X# J7 P) R! `
网友评价) f# d8 l8 S0 M& V7 O" U
MOSS一上线，官网都快被挤爆了，小编也只能乖乖排队等内测资格啦。
: c" x6 R- K! p- E" b% A6 ^1 a: N( c
) c2 F- z4 f( P ~1 B4 c) F8 {$ e体验地址：https://moss.fastnlp.top/# O8 w6 S0 {: m7 t, ]/ b
项目地址：https://txsun1997.github.io/blogs/moss.html8 n2 t; Z6 Y. s! b; T
不过，根据网上记者的对话以及知乎答友们的评价，咱也能来仔细瞅瞅MOSS了。
* \/ X0 x z* x- @. |5 W; M文风很AI，但未来可期
8 J5 B. [1 f+ V- H8 | ?! u* t* S基于目前已知的信息，「段小草」对Moss的特点进行了总结：
; Y: n4 T; q) _; @3 O( P1. 上下文的能力是有的，但不确定能保留多少，毕竟展示出来的上下文对话都不是太长；/ ]& _. p3 p, Q
2. 文风很 AI，不过生成的内容不算长。即使是分 1、2、3、4 点回答的时候，句子也比较短。ChatGPT 一般会生成更长的展开。
' N8 H6 Z1 o# D! `7 Q- R8 _$ D3. 文章中也专门展示了英文能力，但还不确定训练集中不同语言语料的效果。
, N7 k0 F# `1 b4. 吸取 ChatGPT 和 NewBing 翻车的教训，在上线初期就套上了足够的道德枷锁。% U7 H/ J: X h& I9 G' Z
最后，「段小草」表示：「希望能尽快体验到产品，也期待看到更多产业落地。」- \4 M% A- p+ h0 \6 R
MOSS回答：! i. J1 n) {. o' l5 Z
2 |- I, F9 ?6 B# R3 v
/ K2 q7 F; Y9 A8 H) T
ChatGPT回答：9 t8 z& Y2 h0 k0 b4 h3 m* _, d9 S
+ A% q6 k5 ]+ C# z0 W1 h5 i/ e9 }
5 ^0 P6 F( m2 ~2 Q. I回答地址：https://www.zhihu.com/question/585248111/answer/2903132579$ o0 n5 F* I: h$ K! v
给国内AI开了个好头
% ^6 K4 m& {' @/ G& N1 a8 L+ w的确，MOSS的发布对国内AI的发展肯定大有益处。7 y( B4 x6 m9 E1 K$ Z& _
知友「极智视界」表示，在AI领域，技术源于美国而盛行于世界，例如框架类的pytorch、tensorflow，目标检测算法YOLO以及造就ChatGPT的transformer。我们「对标」国外的技术，虽然赶超美国可能做不到，但是「对标」的过程一定会让国内的AI有一个快速的发展。5 e. Z* U+ H: I- l( R* |3 {9 O
" X* R5 X7 |, t4 R
+ v) |7 k9 O4 y2 `& D4 p回答地址：https://www.zhihu.com/question/585248111/answer/2903303710- v7 o D- m! t- X
「极智视界」还提到，国内首个类ChatGPT模型MOSS的发布既符合预期但也有些意外。2 q8 D. F. Q0 @$ L/ g
符合预期是因为近段时间以来也一直有国内版ChatGPT摩拳擦掌的消息，所以迟早都会来的；意外的是在当前这种强大的利益驱动下，研究机构居然还走到了大厂的前头。/ y2 }: [! J/ [' V
但总的来说这是一个令业界比较振奋的消息，咱们终于可以用上咱们自己的AI问答系统了。
/ c' K0 n7 M9 P# o- D高校的重点还是理论探索: n1 s" \" S: D, i& c: J
知友「卜寒兮」表示，想研发出类ChatGPT的产品，需要一个团队能撬动各个方面的资源，还要有过硬的技术做支撑。! q. h2 _5 L$ t# H
以ChatGPT为例，单单想要研发出一个成规模的LLM模型，就需要以下四个方面：
! [. o9 o! V/ C3 t7 B3 l( c9 n x' K' N0 y
* l e/ ?9 x2 B6 a4 _
. e/ I; H4 A9 \' R) |海量数据的语料库：ChatGPT背后的模型的GPT-3、GPT-3.5系列，初代的GPT-3是2020年发布的，这个模型有1750亿个参数，训练它所使用的语料库包含45TB的数据、约3000亿个单词
8 n' T; k2 T% D: v# \! Y" R
5 m- U( a" s& V; J7 Y, K
, ^4 P D$ S6 D ~* l/ r9 v5 p大量的人力：毕竟ChatGPT成功的背后是时薪不到2美刀的血汗工厂! { [& q1 v; D: E! z
: n" C5 E! r) a. d' j
- 6 v8 L' d' I7 }0 H/ v1 I, ~7 C
算力的支撑：训练chatGPT这样规模的LLM模型需要目前世界上最强大的GPU来满足算力要求而像NVIDIA Tesla A100这种最新的AI超级计算机芯片已经禁止对国内出售了。国内除了几家互联网大厂，很少有公司有实力能长期投入大量资金在算力上，更不要提校内的科研团队了，靠点科研经费可远远不够。
6 { X! d; l$ N% r! i# c9 }5 \& [ h) s% u' X
- 6 J0 a, s" f- n1 s1 d5 h
技术上的壁垒：GPT-3的初代版本在2020年就出现了，而到2022年11月首次推出ChatGPT产品，这期间花了三四年的时间迭代不同的版本。这是一个长期的过程，意味着花大量的时间找到关键的训练tricks，反复调参，在不同的训练集上反复训练、微调，并且还有找到合适的训练方法，才能迭代出一个优秀的版本1 s" c" o0 ^* h! ^0 M2 `
3 F6 |3 R! w/ E
# F8 w$ q& n" ]* H, A& x) y5 }5 T. X
9 F9 D3 K/ |) Z% `; w( ~0 n: \2 G* [; B/ _1 P. O; T( j
回答地址：https://www.zhihu.com/question/585248111/answer/29031611802 L, d2 w3 X, f; y& O5 O3 ~" h
目前来看，还真的只有大公司才有能力做得出来。对于高校的科研团队，其优势在于技术和方法上的创新，所以还是要在这方面做更多功夫，为将来有一天该方向的发展做技术储备。, K2 B8 _; _! Z
( l9 @- m. t* w/ t5 d0 s2 d" h( Y复旦MOSS团队：还不成熟
( A2 Q, `4 w) o2月20日，就在MOSS模型公布的当晚，不少测试的网友发现，MOSS已经显示服务器流量过载，只能第二天再重试。" q/ g2 P: y: } r1 ?1 M5 a! v
2月21日，复旦团队在MOSS官网发布公告称：首先非常感谢大家的关注!MOSS还是一个非常不成熟的模型，距离ChatGPT还有很长的路需要走。
. z. i: |! m* h& e$ ?* B, m; x! E D; r/ r0 E" |& G7 X
! ^+ T: T; J- G: x$ i
c% J# J: j- P7 A1 n! k4 O& P我们一个学术研究的实验室无法做出和ChatGPT能力相近的模型，MOSS只是想在百亿规模参数上探索和验证 ChatGPT的技术路线，并且实现各种对话能力。 我们最初的想法只是想将MOSS进行内测，以便我们可以进一步优化，没有想到会引起这么大的关注，我们的计算资源不足以支持如此大的访问量，并且作为学术团队我们也没有相关的工程经验，给大家造成非常不好的体验和第一印象，在此向大家致以真诚的歉意。 在 MOSS完成初步的验证之后，我们会将MOSS的经验、代码、模型参数开源出来供大家参考。中国版ChatGPT的诞生还需要中国全体AI从业者的努力，也更需要不断。和人交互以提高能力。
- |" a2 X1 g( m3 R& K. c4 m参考资料：9 G. ]3 c. ]- G. L* y7 @! y' H
https://txsun1997.github.io/blogs/moss.html& g5 l4 \9 y7 D7 A
https://www.zhihu.com/question/585248111
6 m2 `- N" y& K" ^0 B" I- [2 g( c! Thttps://m.weibo.cn/status/4871507265982631?wm=3333_2001&from=10D2293010&sourcetype=weixin&featurecode=newtitle! }, B$ ~, X `* ?, e. g
特别鸣谢：（授权转载）4 t1 l7 S1 e# r
「段小草」https://www.zhihu.com/question/585248111/answer/2903132579
7 P; c# D9 ?. y8 G5 t P; \, h( v「极智视界」https://www.zhihu.com/question/585248111/answer/2903303710
8 Y' X, O; e/ J, I2 \( F4 `5 c, x「卜寒兮」https://www.zhihu.com/question/585248111/answer/2903161180 |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
×
|
|手机版|小黑屋|梦想之都-俊月星空
( 粤ICP备18056059号 )|网站地图
发表于 2023-2-22 07:41:41
