小米大模型，不搞“ChatGPT”

寻找林正英

2 a3 Q# u# f8 t
. I% R' Q* O7 f
# p4 ?4 ]8 w& @4 r; X深燃（shenrancaijing）原创
作者 | 金玙璠 贺树龙
编辑 | 贺树龙
- Z$ Z; s  W2 s' Y/ LChatGPT上线半年后，一场大模型追逐战继续在太平洋两岸上演。
由OpenAI、微软和英伟达组成的联盟，正在太平洋东岸玩命狂奔。今年3月以来，中国科技公司紧急跟进，百度、阿里、商汤、科大讯飞相继推出“类ChatGPT”产品，腾讯、华为、京东公开表示正在跟进大模型，都想抓住这个比互联网时代还“大十倍”的机会。
“百模大战”当前，作为国内大型科技企业的小米，却显得格外冷静。
小米掌门人雷军说，小米正在研发一些技术和产品，等打磨好了再给大家演示。小米集团总裁卢伟冰称，小米目前拥有超过1200人的AI团队，会积极拥抱大模型，与业务深度结合，但不会像OpenAI一样去做通用大模型。
这些信息都加深了外界的疑问：小米会加入“百模大战”吗？
! a1 P8 G% Z- g8 ]小米集团AI实验室主任王斌博士告诉深燃，小米自己会去自研通用大模型，但不会单独发布一款类ChatGPT产品，“也不会发布一个PPT，或者演示几个例子，就说我们有大模型了”，而是自研大模型最终会由产品带出来。
这是继小米官宣大模型团队后，首度对外披露大模型的路线和进展。今年4月14日，小米宣布大模型团队由栾剑带队，向王斌汇报。王斌曾在中科院从事了20多年NLP（自然语言处理）相关的研究和开发工作，2018年加入小米，2019年起负责AI实验室。AI实验室是小米AI战略的核心部门。
曾经做过对话大模型的小米，在通用预训练语言大模型上，是少有的理智派。王斌透露，目前专职大模型团队30多人，不会马上极速扩张；这个团队的目标还是通用语言大模型，第一步的目标基座模型参数在几百亿，然后会视前期爬坡结果，再决定下一步投入。
& P" L6 C# y9 @) |5 y* P% U“从研发出大模型到落地还有很长的一段距离，是否能找到合适的重要场景是很多大模型公司的痛点。”在王斌看来，小米的优势是有足够多的现成的大模型落地场景，包括小爱同学、loT、自动驾驶、机器人等等，丰富的应用场景也能够反哺大模型的能力。
小米不缺场景，但要训练出大模型，数据、算力、人才的积累缺一不可。王斌说，小米在人才上有一定储备，算力和数据量方面的挑战较大。一方面，算力需要克服系统级的挑战，且要做到训练成本可控；另一方面，高质量数据的获得、清洗，都要花费不少时间和成本。
在新一轮AI大模型浪潮中，小米AI团队为什么不发布“类ChatGPT产品”？小米是怎么判断大模型的技术路线、技术难度的？日前，深燃总编辑贺树龙和小米技术委员会AI实验室主任王斌进行了一场对话。以下是核心内容：

* Q) u7 A" k+ ]0 o+ D小米大模型：团队30人，不发“类ChatGPT”
2 ^5 q4 _( @7 G, o
8 }; _4 G1 {4 k3 ^. P
+ ]6 W$ |) R- h2 w深燃：4月14日，小米任命栾剑为大模型团队负责人，向你汇报。能否介绍下小米大模型团队是怎么诞生的？
王斌：大模型团队是4月份宣布的，但在这之前已经开始运作。
去年11月30日，OpenAI发布ChatGPT后，我们一堆人快速注册账号，在上面开始玩。ChatGPT确实很颠覆，我们做了这么多年AI，它的很多能力超出了我们研发人员的预期。
' N3 ]# Q: R! V/ n很快，我们就组织了多个内部大模型交流群，讨论大模型的技术，以及它对机器翻译、人机对话、智能问答、客服会产生哪些颠覆性的影响。早期参加研讨的很多人，后来都成了专职大模型团队的重要成员。
* T* V$ \& I  B. q" d深燃：小米大模型团队会不会来得有点晚？
王斌：对于大模型，我们属于理智派。
在ChatGPT诞生之前，小米内部做过大模型相关的研发和应用，主要是预训练＋下游任务监督微调的方式来做人机对话，模型的参数在几十亿级别。当然，这类模型并非现在所说的通用大模型。
我们非常清楚，通用大模型的研发和应用是一个长期的工作，不是早晚的问题。我们是按照自己的时间规划和步骤在走，当时觉得时间点到了，就做了团队发布。
+ P, z# n/ @6 D: d( J* P- _7 A深燃：大模型团队有多少人？有继续扩张的计划吗？
( A3 M! J$ L3 R# n0 b0 \0 O5 b王斌：主力团队目前有30多人。我们目前是先按照人才、数据、模型、算力、评测、产品这几个方面去筹备，等到了一定阶段再逐步调整或扩张。
' ^7 g! ?# q( K6 k. J) B我们目前不会马上扩大人数，比如一下招到100人。因为在积累能力爬坡阶段，可能招这么多人都不知道怎么安排，反而是一种浪费。
8 u7 I- a+ I2 w% @随着大模型相关信息的不断公开，资本和人才的不断涌入，大模型领域的发展非常快，大家的看法变化也很大。前不久ChatGPT刚出来时，大家觉得，实现类似的大模型基本不可能，但是慢慢地，很多人觉得可能性很大，还有一些人认为，不需要那么大规模的模型就可以满足很多产品的需求。大家的投资力度，差异也特别大。有些人可能觉得团队至少要几百人，有些人认为不需要。

( U* p, W$ H$ ?5 q: l0 M# U# j: w+ `

来源 / 视觉中国
深燃：接下来有没有一些阶段性的规划，什么时候对内测试和对外发布？
6 ]$ A4 F! [5 Z6 h王斌：跟其他公司不太一样，小米天生带着产品的属性，我相信小米大模型出来的时候，是由产品带着出来。
/ f2 K0 q, R/ y/ ?6 C" }: G9 C) }我们内部有可能会在Q3之前测试。不过，这也不是一个必然的节点。
( C5 ~" m& p7 u3 G: g* {/ k/ v3 k深燃：也就是说，小米不会发布一个类ChatGPT产品？
% X6 W) U$ _/ |. B6 ~  K王斌：对，我们不会发布一个PPT，或者演示一下我们有大模型了。应用场景丰富是我们最大的优势。小米大模型会跟场景结合得更紧密，肯定是围绕产品的节奏去做相应的发布规划。
$ ?! S# U5 U& t深燃：除了人力之外，小米做大模型在算力方面的成本大概是多少？
6 L! r7 O6 c  f6 T王斌：我们属于中等规模的投入，会视前期爬坡的结果，再决定下一步投入。
我们的基本判断是，适用于小米产品和业务的模型，参数可能在几百亿，会比千亿规模低，用于训练的机器的投入大概是几千万人民币级别。
: |2 Z3 {1 j+ X4 }# T深燃：之前小米做的几十亿参数级别的模型，现在怎么样了？
王斌：去年发布的ChatGPT是大模型的一种，叫通用预训练语言大模型。但大模型本身很早就出现了，大家有不同的路线、做法。
9 i  ~( u" H6 h5 u) b我们较早就开始跟进大模型，当时做的是一个对话专用模型，大概是28亿到30亿的参数。它是在预训练基座模型的基础上，通过对话数据的微调来实现的，并不是现在的通用大模型，而是专用于人机对话，比如，可以提高小爱同学对话的流畅度、多样性，让它可以聊下去。后来这个模型上线到小爱，进行了小规模上线测试。
所以，小爱同学里已经用到了AIGC，只不过，我们在产品层面，没有全部使用这个大模型，而是利用传统模型和对话大模型的互补性，将两个混合使用。
小米的通用大模型在落地产品时，很可能也是这种混合模式。传统模型处理得非常好的问题，就交给传统模型。大模型就解决它擅长的问题，例如一些小概率事件或是长尾对话。
现在出来的通用大模型，在对话水平上，明显高于之前的对话专用大模型，所以这部分团队也全都转到通用大模型上了。这个团队跑通过整个对话大模型的训练过程，爬过一些坑，加上数据的积累，有一定优势。
5 ?7 p# }5 N4 j% Q, J9 Y4 g
  I. B' X! U' ~8 Q, k+ E小米大模型：场景占优势，数据是难题


深燃：这段时间以来的技术进展非常迅猛，国内大模型在密集发布，会因为进展慢而焦虑吗？
4 n, a7 o, x$ R7 C  ?王斌：我曾经有一段时间比较焦虑，因为老不下场做就会有点慌，你就会想，“别人怎么进展这么快，一下子就做出来了？”现在我们下场去做了，也就不焦虑了。
8 n; D3 x; V& n$ w  |4 `据说，中国现在是“百模大战”，已经发布了80多个大模型，有些提供了内测，有些只是PPT发布。有些模型的效果还是不错的，光从发布的水平看，我们现有的自研大模型的水平，看上去也不比很多模型差。但我们不急于做对外发布。第一，对于小米这样的公司来说，没有太大意义。第二，我们还是希望围绕产品，把自研模型做得更好一些，再一同发布。
+ B2 l* {: ?* @6 Q深燃：你认为国内公司的大模型有机会赶上OpenAI吗？差距有多大？他们喜欢用三个月、六个月来形容。
王斌：目前来看，OpenAI肯定是走得非常靠前的，它投入时间早，在人才、数据、算力、工程、产品等方面都有非常强的积累。从国内的情况看，我感觉目前和OpenAI还是有一定差距，有人说是三个月、六个月，也有人说是一年、两年。时间上，真不好说。
因为怎么评价大模型，本身就是个挺难的问题。现在出现了各种大模型的排行榜，但目前都没有得到大家的一致认可。没有真正的评价标准，那么谈三个月、六个月赶上，也就是个拍脑袋的说法。
' a# }2 M! {  E9 h  X* p9 j至于国内有没有可能追上OpenAI，我早期比较悲观，觉得几乎不可能，但随着各种开源方案、各种团队和资本的涌入，我的判断更乐观一些。我认为，国内有机会跟OpenAI缩小距离，去接近甚至在很多场景超过它。
大模型看上去不像芯片有那么高的门槛，通过人才、数据、算力等的不断积累和优化，是有可能不断缩小差距的。
深燃：国内哪些类型的公司搞大模型更有优势？小米的机会在哪里？
王斌：不管大公司还是中小的创业公司，都有各自的生存空间。大模型是一个生态，并非一家独大就能通吃，生态上的所有公司，包括做算力的、做数据的、做应用的，还有真正做大模型的公司，都有各自的机会。
7 g" T2 \6 ]% e  h6 |* Z1 K+ r像小米做大模型，有应用场景的优势。我们认为，大模型跟场景的结合会是一个巨大的机会。
6 b7 Z1 g3 ?5 Z9 T6 l3 G8 U因为如果只是发布大模型，没人用，那不一定能通过滚动快速发展起来。而我们可以马上落地到场景，通过不断迭代，在这些场景充分发挥出大模型的威力。
; B( \( P0 C. A# X虽然我们目前只整合了一支30多人的主力团队，但实际上外围还有非常多的人。整个AI实验室，有NLP背景且在做具体应用的，就有一百多人，包括知识图谱、机器翻译、人机对话、智能客服、智能问答。他们都是具有大模型基础思维以及相关技术的人员，正在从各自应用的角度推动对大模型的探索。
+ G% h* l5 z9 E


王斌
深燃：小米在NLP研究上的积累，对大模型的价值有多大？
3 I; v( E, a3 N+ S5 [2 w王斌：这在业界存在两种说法。一种说法是，我们这些人可能没活干了，AI革了自己的命，特别是做NLP的人可能就没饭碗了。还有一种说法是，毕竟大模型是从NLP干出来的，做NLP的人有先天优势。
这两种说法都有一定道理，但毕竟涉及到我的饭碗，我更倾向于后一种说法。
大模型原本在各个领域都有探索，包括视觉、语音、NLP。但为什么是在NLP这个领域首先突破，我相信这里面有本质的原因。我理解至少有两点：第一是语言数据的丰富性和易获得性，第二，语言数据背后隐含着非常丰富的反应人类思考过程的知识。
4 p$ k6 F* q( a4 X所以我相信，在NLP领域有多年积累的人，对大模型的理解和改造能力有一定的先天优势。小米大模型团队的成员，很多原来是做NLP方向的。国内做大模型非常不错的几家创业公司，也是从NLP领域出来的。
& i  z) _% @8 ~! g深燃：小米攻克大模型目前的难点有哪些？怎么克服？
8 D; X# v  ?1 F- v; b' n0 t3 N- V王斌：首先我还是想说，大模型本身有非常巨大的挑战。
一项巨大的挑战是技术的不确定性。我们看过一些报道，甚至OpenAI团队自己也不十分清楚大模型背后的真正原理，如果再做一次，对是否能够出现同样的“涌现”结果也没有把握。我相信这一点上OpenAI讲的是实话，由于技术上有非常大的不确定性，所以有投入不能保证一定能训练出满足预期的大模型。
高质量数据的积累也是一项挑战。大家一般认为，大模型需要极大规模高质量的训练数据。网络上公开得到的数据，质量总体比较差，所以数据的获取、清洗，都是比较大的挑战。
另外的挑战当然是算力。首先，并不是说有这么多卡就能够训出来，怎么能够用好这些卡本身就是一个系统级的挑战。其次，因为在训练过程中可能会犯错，可能钱烧没了，什么都烧不出来，所以要看你有没有能力用可控的成本把大模型训练出来。
6 _6 ^) X8 P+ l实事求是地说，目前数据和算力的挑战还是比较大的，尤其是大规模的高质量数据。经过前面一段时间的爬坡，我们现在基本有把握，只要数据到位，利用现有的算力，我们大概能知道多少天能够训出一个还可以的基座模型。
0 _, L/ I+ B1 {深燃：现在大模型训练的成本降低了吗？
王斌：一方面，试错的成本比以前低了。因为大模型训练是可能走弯路、会失败的，但是随着各种信息的公开，现在可能能很快找到训练的正确方向。另一方面，很多云计算、芯片等公司，还有很多创业公司，都在提供更低成本的大模型训练和推理服务。随着整个生态进一步发展，我相信训练的成本会不断降低。

) {3 t( \4 j  D' O0 G大模型怎么影响小米业务？


深燃：能否详细介绍下你负责的小米AI实验室？
王斌：在2016年“阿尔法狗(AlphaGo)”横空出世后，雷总第一时间推动了AI团队的建设。AI实验室于2016年正式成立，我从2019年开始负责。
原来AI实验室隶属于人工智能部。后来人工智能部合并到集团技术委员会，现在AI实验室是技术委员会的直属部门。
+ v) G) h" V. T! R6 Q* {1 i: Y0 t- EAI实验室现在的团队规模在350人左右，下属六个方向，分别是机器学习、自然语言处理（NLP）、计算机视觉、声学、语音和知识图谱。
0 n/ S/ F8 o" a! V! u3 {大模型出来后，AI实验室设立了专职大模型团队，我们现在的重点是语言大模型，但也在关注跨模态大模型。
/ m& ~$ N* l  c深燃：卢总（小米集团总裁卢伟冰）说小米AI团队目前超过1200人。除了AI实验室，小米内部还有哪些部门跟AI强关联？
王斌：AI实验室之外，还有小爱同学团队，这两个团队都在技术委员会下面。
技术委员会之外，还有很多部门都有比较大的AI团队，包括汽车部的自动驾驶部，手机的相机部、软件部，此外，在互联网业务部做的用户增长、广告推荐，都跟AI相关。
( |8 v% ?+ y+ {% D$ _6 B; ?6 X总之，AI相关的团队有些在业务部门，有些在技术委员会，总数大概1200人，如果再考虑一些小团队，这个数字我个人觉得还更大一些。
深燃：小米AI实验室在小米AI战略里是什么角色？
- o, |2 H( g' W王斌：AI实验室是集团层面的AI技术研发和输出部门。通俗地说，我们是面向全公司输出AI技术。
我们曾经把AI实验室比喻成集团层面AI技术的“试验田”和“弹药库”。因为AI发展迅速，AI实验室会研发一些中长期的前沿技术，围绕小米业务做储备，在集团需要的时候输出“弹药”。
1 }$ m/ }" c# p+ i3 P2 h4 T0 A在AI技术层面，我们在公司里肯定是储备最齐全的，在行业里也是非常有实力的。
深燃：小米AI实验室有哪些重要的研究成果？
王斌：我们AI实验室的理念更强调技术和场景的结合，目前还没有把发表论文当作OKR。所以，我从中科院（中国科学院）来到小米后，自己感觉最大的成就不是某个单点的技术的进展，而是技术和产品的巧妙融合。
小米是一家To C的公司，我们的AI能力输出暂时不直接对外输出，而是通过公司的产品输出。我们的成果非常多，包括小米手机中的很多拍照和相册处理算法，小爱同学中涉及的语音、NLP等算法，小米商城的推荐、搜索、客服系统中的AI算法。
我举个例子，我们在手机上开发了离线翻译功能，比如出国后，很多情况下网络没有那么好，这时候打开小米手机的翻译功能，不用走云端，离线状态下，实时性、隐私性和翻译效果都比较好。这个功能的实现和应用都不算容易，我们做了很多很多翻译效果和性能的优化工作。
; Q% }' C. p7 x# S9 [, C! S在小米内部，并不是我们自己的技术，就会优先用，内部技术也要和外部技术去公平去PK，只有胜出才能活下来，应用到产品。

4 Y2 O; w3 ]7 [' k( ^

& Z0 Q% X, l5 p( m5 A$ z4 v深燃：以ChatGPT为代表的大模型技术，会对小米的哪些业务带来影响？
王斌：大模型最强的能力，简单来说就是它更理解人，它显然能优化人机交互的方式。小米的小爱同学、手机操作系统MIUI、汽车的座舱、IoT、机器人，都是应用大模型的典型场景。
$ i/ d3 c0 T4 x, c深燃：能不能以小爱同学举例说说。
! t+ P2 r3 r5 m) E! T王斌：应用到小爱同学上，能同时做到两件事。一类是让不可能变成可能，相当于有了新的功能。比如，我让小爱制定一个出行计划或者订餐等等。原来的技术能力没有达到，用户稍微换一种说法，它就乱套了。但有了大模型的支持，它对人的话语的理解更深了，这样就可以完成复杂任务，这类应用就有可行性了。
还有一类是对原来功能的增强，相当于锦上添花。因为人类表达的跳跃性、多样性，原来在小爱同学人机交互的过程中，最大的问题就是遇到小概率事件，我们叫Corner Case，通常会采用保守策略，让小爱说，“我回答不了”，“我还在学习”。这种托底回答也能把对话进行下去，但体验不好。但大模型技术能把对话进行得更长，而且大幅度提高用户满意度。
6 T& M$ v% M6 v+ ]: l深燃：大模型对智能家居的影响大吗？
王斌：按照我的个人理解，大模型至少能在交互能力上，提高智能家居的使用体验。
现在虽然有很多设备号称“智能”，但表现上经常像“智障”导致使用率不高。比如说，打开空调或者调控空调温度，如果说法跟标准指令不一样，就可能就无法控制IoT设备。
1 l4 Z( T+ j' k* {# S1 n5 t6 Z0 H但大模型来了以后，对人类语言的理解更深了，很多情况下表达方式各种各样，大模型能把用户的表达翻译成机器能听得懂的指令。这会带动更多人使用智能设备，让整个生态能更快成长起来。
深燃：除了现有业务的提升，还有哪些事情是以前小米做不到，但有了大模型以后有可能去做的？
王斌：我们会让大模型和这些业务做深度的协同，当然，除此之外，我们也在寻找更多可能性。
) \# T2 _. w4 }( d" n% t) d" v我们团队写了很多文章在公司内部推广大模型，包括大模型的概念和技术发展，教大家怎么用ChatGPT来解决业务问题。雷总已经要求每个部门都要学习大模型，要求大家具有基本的大模型思维，思考怎么跟业务结合。
7 @7 l& V7 Z6 r9 j2 z" _, F+ O*题图来源于受访者。