|
|
5 C6 ~% Q: F' S# C Q: K0 t
0 P1 Z" ?+ A L8 w8 B; j( H
( a9 b! a5 @8 s8 S& }. ^: e5 g& z8 G% k+ g# L来源|Tech星球
5 T I5 n0 \7 f% q* c3 ]# P1 m文|王琳 陈桥辉 杨晓鹤
$ G* i: l2 r8 v: T# S最近,360创始人周鸿祎又点评了互联网圈:在ChatGPT领域美国领先了我们,中国公司和科研人员要奋起直追。
( ^" x: S9 S4 |3 x1 Z: C% U9 \4 t8 BChatGPT确实让国内外互联网公司有点上火。2月8日,为了抵御ChatGPT带来的冲击,谷歌仓促推出人工智能聊天机器人Bard。国内这边,百度宣布在3月初推出“文心一言”,其他家互联网公司也争先恐后。
% k! v% B; f& |) C4 M4 n+ u截止2月10日,宣布有类ChatGPT技术储备、准备发布和已经发布类ChatGPT产品服务的国内大厂有:阿里巴巴、腾讯、华为、字节跳动、京东、360、科大讯飞、快手、网易有道等,超过10余家互联网大厂进军火热的ChatGPT。
* G6 B4 M. L2 h! f- [; u7 D1 a2 V2 y风口之下,泥沙混杂。国内最早官宣进军ChatGPT的互联网企业,其实是二手奢侈品交易平台寺库,ChatGPT概念股让其股价应声上涨120%。很多网友吐槽,不是寺库主动发声,还想不起来寺库对消费者的欠款。7 P- O) f. [- R! e
此外,互联网垂类赛道企业也有参与者,Tech星球独家获悉,好未来将在未来引入类ChatGPT技术,目前正着手筹备研发ChatGPT的教育项目。商汤也正在探索搭建通用型AIGC模型,该项目由商汤研究院牵头。2 \6 o* M6 R% P4 Z0 y* S* b
中小科技公司在蹭热度,大公司也并非轻松掌控“ChatGPT”。诸如谷歌Bard发布时,演示视频中犯了一个事实性错误,首秀大“翻车”,致使谷歌股价大跌,目前市值已经跌去了1700亿美元。
' Q# c& k- X2 _) K! d; j- R放眼国内互联网企业,谁更有科研实力做ChatGPT?谁在真刀真枪的投入研发,谁在追风口、蹭热点概念?
1 ]0 V2 j; M( ~) U! g9 Y9 |# l8 V7 P o+ `1 a, p- c
扎堆入局ChatGPT竞赛
* ~; t; J+ `4 _4 A! U6 y$ e* i: _: d3 |; q9 K- [* o$ e# `/ y4 a* ]
' J0 a& @# @* r- t在搜索和AI领域积累最深的百度,自然被市场寄予厚望。
* y! D* q5 Q0 h! @7 ]# C百度计划在今年3月推出与ChatGPT类似的人工智能聊天机器人服务,该项目名字确定为“文心一言”,英文名ERNIE Bot,3月份完成内测后,将面向公众开放。不同的是,最初版本将嵌入其搜索服务中。这项工具将允许用户获得对话式的搜索结果。& ?0 B. a( g7 E8 m1 O& V; I
去年9月,百度CEO李彦宏判断人工智能发展在“技术层面和商业应用层面,都有方向性改变”。据推测,百度那时候就开始做“文心一言”,另按照谷歌和微软节奏,“文心一言”开放内测还有可能提前。
. a+ L- P% l' {* B; p0 O尽管没有率先发布ChatGPT,但在相关技术方面,百度同时具备人工智能需要的算力、算法和数据,在芯片、框架、模型、应用四层技术栈均有布局,是国内少数的具备AI全栈能力的企业。
6 `9 i, H# e. X. r8 `
# o$ }& e) z' Y; e1 H# x9 X: F
" Y7 K, [# ~* J2 h3 k0 [
相比百度的技术研发储备,阿里和字节跳动可能是另外两个较早布局的玩家。
0 W! \8 n1 H1 ~! }2月9日,阿里内测中的达摩院版ChatGPT提前曝光。新产品可实现的功能包括知识问答、AI绘画、代码生成、小说续写、文案撰写、写诗作词等。从人工问答的水平看,达摩院版ChatGPT也实现了相对真实的回答,而且也实现了多轮问答。
1 M Z8 L. r! d$ X: [实际上,在2022年5月份,在超大规模多模态预训练模型M6的发布之后,阿里就曾公布过相应的能力,在AIGC方面,生成的实景图片已经十分逼真。" F: K/ B& D) }( q
+ S' K- E' B" X/ {; s
2 Y: A4 e0 y9 y& J9 y
" s9 q/ J( j6 x7 A/ D
根据介绍,M6将模型参数规模扩展到了十万亿,平均单卡可承载200亿参数。据阿里方面公布的数据显示,M6在同等参数规模能耗仅为此前业界标杆的1%,极大降低大模型训练门槛。' I2 L6 U! P9 L+ ? w. O y
字节在研发ChatGPT的道路上,虽然全栈技术不是很突出,但在商用方面走的比较靠前。Tech星球了解到,从去年年底开始,字节就在研发类ChatGPT项目,目前已在内部上线了测试插件,由AI Lab主导,当前还在探索当中。并且在此前,字节的AML团队内部开发了火山引擎大模型训练框架veGiantModel。这一模型类似于为ChatGPT提供支持的GPT-3.5系列模型。
/ y0 Y, k$ c' M5 @而在GPT-3.5之前,一位火山引擎的前开发人员告诉Tech星球,字节很早就着手研究基于GPT2、GPT3的训练模型和产品,并且字节旗下的火山引擎也在NLP(自然语言处理)应用方面有研究积累。 f+ i e9 ~+ I) W! }, A
目前,字节对话机器人、机器翻译、机器写作上有不少研究,特别是针对内容创作这一块。在ChatGPT被用作写文章前,字节跳动就研发了Xiaomingbot自动写稿平台,自2016年上线以来,已经累计写了60万篇文章,覆盖了17项的体育赛事,支持6种语言。 J6 \* T# G" |6 a$ ?
近日,快手也对外表示,正在开展大规模语言模型(LLM Large Language Model)相关研究,并启动了相应专项,覆盖LLM模型训练、文案自动创作与生成、对话系统开发等领域。
! H/ U' q* w; Y; }( j此外,京东云言犀也宣布将推出产业版ChatGPT:ChatJD ,预计参数量为千亿级,主要应用在零售和金融2个领域。
' v' j/ b* K: B0 x; F/ I& x s" D$ d# B* X8 e, Y& [
国内大厂为何没能抢得先机?* H' B& s" @5 S4 @: V0 s. a, `
5 V2 \2 q3 R( a8 H0 B. i
0 l' O U% X2 |- I9 o. i! x大厂扎堆涌入,但有实力的玩家并不多。
$ C- I* [2 Y5 k8 X0 }% x! `有研究估测,训练1750亿参数语言大模型GPT-3,需要有上万个 CPU/GPU24小时不间输入数据,所需能耗相当于开车往返地球和月球,且一次运算就要花费450万美元(约合3000万元)。% N+ ?4 b( v$ O% T- A& ?
高昂的研发成本意味着,主流的大模型只能由大型科技公司或是少数研究机构掌握。+ z# S# W+ C! d
从参数数量来说,百度的文心大模型有2600亿参数,远高于GPT-3的1700亿参数。但参数数量并不代表模型结果。国内并不缺数据,百度、字节跳动这样的公司都有海量的数据积累,不过后续包括数据清洗、标注以及模型的结构设计,训练、推理等都需要时间积累。这可能是国内大模型表现结果不如国外惊艳的重要原因。! R) } z% ~* y/ i0 m d3 A
拉开差距的关键时间点是在2020年年中,也就是GPT3.0刚出来时。一份流传的专家纪要显示,当时可能很多人觉得GPT3.0不仅是技术,体现了AI模型的发展新理念,因为ChatGPT的开发商OpenAI对这一块有技术的独到见解,也领先了国外的Google,大概Google比OpenAI差了半年到一年的时间,国内公司差了两年的时间。
' S) P% u" `3 {4 t8 g. Q4 ~这与国内外很多科技企业认为,ChatGPT并不是革命性的技术也有关系。ChatGPT是OpenAI对其2020年发布的GPT-3模型微调后开发出的对话机器人,严格来说,ChatGPT并未实现底层模型的显著突破,它巧妙地采用了理解、生成和交互相结合的方式,基于人类反馈进行强化训练,在体验上带给人智能的感觉。
* e, j* }0 o/ a" i7 ~2 }/ T% qMeta首席人工智能科学家Yann LeCun,不久前在一次小型媒体和高管在线聚会上发表了自己对ChatGPT的看法:“就底层技术而言,ChatGPT 并没有什么特别的创新,也不是什么革命性的东西。许多研究实验室正在使用同样的技术,开展同样的工作。”
: |! d* c" p o% M: N" B一位百度员工告诉Tech星球,其实国内很多大厂做了很久,但都不是GPT方向,而是其他产业方向。2022年很多开发者基于百度文心做的应用,多是心理咨询、寻医问药、高考志愿等场景。阿里「通义」大模型也覆盖200+服务场景,包括AIGC,智能对话也有,但不是很强。, {: P! r( e/ H( E! c7 O
没有意识到ChatGPT对现有搜索模式的颠覆,没有准确预测到ChatGPT对脑力劳动者产生替代的关系。问题的关键在于,很多互联网企业认为“chat”这是一个很浅的应用,从现在的场景上,就是一个更强的聊天机器人,有一定的问答属性,暂时看不到商用的点。
3 F2 i; X- O p2 S$ E+ p有着上述相同看法的一位字节NPL算法工程师告诉Tech星球,ChatGPT是一种不确定性极高的项目,国内没有成功先例,如果真的All-in去做,上面并不一定会提供资源,更别说提上优先级。另外,国内的技术确实是能力有限,比如想做一个大模型,缺少的不仅仅是资金,还有人力和基础模型,对于互联网大厂这种商业公司而言,有着较大的难度。* }* ]$ x$ W& E* D
不仅认知层面存在局限,技术上的局限也有。
{+ d* R8 O% f5 y6 m目前,ChatGPT的信息截止到了2021年,这意味着如果把它当做搜索工具使用,显然无法获得实时信息。一位百度员工表示,百度现在正在解决信息实时性的问题。同时,ChatGPT已经在准备推出基于GPT-4的迭代产品,国内企业又有新的目标需要追赶。
1 f( U* x& c! w2 V# W
4 k2 w7 V. ?+ o1 ]8 ~: L; \' h跟风热潮中,谁在硬蹭热点?. V1 ~$ c3 B9 U3 _( M
. n a; {7 k% y1 i. h# b- |8 \7 Y- @' t; ]+ K9 S0 g$ {0 I5 x# E- l
“有大模型的企业能做ChatGPT,没有的则是在蹭热点。”
+ ^. X% N J& j8 m, c前阿里云大模型负责人杨红霞犀利点评了当下互联网公司,蜂拥扎堆做ChatGPT的现状。她认为:“大模型只有达到了100B以上的水平,才有GOT能力(或者提供较难推理问题的回答)。”
* i7 d* e. g1 e$ G. k: x' \- J从这方面看,百度有20多万企业用户的飞桨平台,也有文心大模型,预计能做出最接近ChatGPT水平的对话产品;阿里有“通义”大模型,目前已经实现万亿参数训练,在产业端M6开发的应用场景也比较丰富;华为则是在2020年对大模型开始有布局,2021年发布了鹏城盘古大模型,是业界首个千亿级生成和理解中文NLP大模型。3 v! u: [* ^; i& V6 v
相比之下,目前宣布进军ChatGPT的一些互联网企业,技术研发和进度则处在第二梯队。比如,360有深度学习平台Xlearning,但没有相关大模型。同样宣布进军ChatGPT的网易有道,是AI芯片、深度学习框架、AI大模型都没有,只是有应用场景在线教育,这与传出要参与ChatGPT的学而思类似,企业只是有学习机的应用场景,但没有相关技术储备。" j( b& @, ^. R& \3 x' e
还有一些企业则被认为是追风口概念。汉王科技受益于ChatGPT概念股,在1月30日开始的七个涨停板。根据2022年半年报显示,其接近chatGPT的文本大数据业务营收为7797.95万,仅占总营收的14%,不仅营收占比较小,还同比下滑7.14%。企业发展困难,却借助ChatGPT概念实现了股价一飞冲天。& k5 f3 }6 M6 q9 {& k
这还不算最引人注目的,2月6日,寺库宣布将探索将AIGC和ChatGPT技术应用于奢侈品相关业务。当天,寺库每股股价上涨124.4%。实际这家企业已经被纳入“老赖”名单,很多供应商欠款和消费者退款都没即时结算,多次被市场监管总局登上失信名单。! u- S3 W; N, x* ]1 O0 C
与这些主动蹭ChatGPT的热度企业不同,也有什么都没做的企业,借助ChatGPT躺赢。2月8日,微软集成ChatGPT技术的新版必应上线,回答内容中有不少答案来自知乎,当天午后知乎股价一度涨超56%。由于ChatGPT可能会对社区问答产生颠覆,所以知乎对ChatGPT相关事宜一直保持沉默。但也被市场热捧,送上了股价增长列车。
3 p! e7 ]: ?- L9 D/ ]! I/ Z7 O1 w% n当然,有行业人士表示,很多中小企业没有技术实力,也可借助开源的 Transformer大模型,一定程度实现ChatGPT功能服务。
1 u* i6 i. Q7 B7 ?0 g不过,达摩院专家告诉Tech星球,现在大规模预训练的 Transformer-based 模型虽然能够很好地解决感知智能相关任务,但缺乏精心设计的纯 Transformer 模型,基本无法完成对于实现认知智能的尝试。 K/ d$ x: m' \" e9 r
正如字节跳动的情况,Tech星球向火山引擎的售前支持人员咨询火山引擎是否有类ChatGPT的产品?对方表示,平台并没有该产品,但是可以通过“机器学习平台”结合自家产品,经过二次开发,能够实现类ChatGPT的效果。
9 Z3 Z1 U; [/ j7 F; mTech星球还发现,在ChatGPT爆火后,前美团“2号人物”王慧文疑似复出,宣称要带资5000万美元入局人工智能。同时,与NPL、AIGC等相关的岗位被不少人关注,算法岗成为了新的求职热门。在脉脉的职位热度榜单中,前十位中,有8个是和算法相关的岗位。) u+ @) L" |4 U: O. P
( ~ B! a) X* A. M! C
图注:脉脉职位热榜。
7 s* F/ l! T5 H& R. t9 q8 X ~3 \7 {* a: S9 [4 f
包括腾讯、阿里、字节、小红书、菜鸟等互联网公司,已经在NPL算法工程师等相关招聘岗位中,加入了从业者需了解熟悉GPT-3等相关模型的要求。而招聘的月薪多在4万元左右,最高可达10万元。
/ H) O& N( D9 U: v, b9 l, G: o! m* @2023年,ChatGPT点燃的这把火,可以淬炼出真金的企业和人才,也可以蒸发掉虚妄的概念。
( y% G0 N& e( L3 y& W- C d6 ^ |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|