文心一言 VS 通义千问，谁更懂学习？

复活的鬼是丑鬼

, C5 F( F8 X2 X9 ?国内的大模型还在路上，需要给他们成长的时间。
- g0 F+ A% p1 n& D( }# ?7 c: G# e来源|多知网
作者 |王上
3 _0 t; ?( w  J6 z图片来源 | 言之画
/ S; v, n; H" l3 E0 w比尔 · 盖茨上周二在圣地亚哥举行的 ASU+GSV 峰会上发表主旨演讲时表示："AI 聊天机器人将 18 个月内，可以做到教孩子阅读，辅导家庭作业。"
今年 3 月和 4 月，百度和阿里巴巴分别推出了自己的大模型。目前来看，百度的文心一言和阿里的通义千问均可以多轮对话、文本创作等。
8 X% j9 b& c% Y: w" L未来，大模型将会朝着多模态 ( 文本、图像、视频、音频等 ) 继续发展，也将越来越逼近人类的智慧。
在不少专家学者看来，如果大模型足够成熟，将改变教育体系的核心要素，包括教育目标、知识获取方式等。所以，这波 AI 技术的爆发非常值得教育领域关注。
# Z& h; V0 C/ l* b那么现在，各家的大模型进展到什么程度了？是否可以在学习或者教育领域直接利用呢？我们让百度的文心一言和阿里的通义千问 PK 了一下。
$ F: U/ e* n; ^7 U* Q我们让文心一言和通义千问在高中英语翻译、初中数学题目、高中中文写作、代码生成、青少年心理辅导方向各出了一道题目，双方针对所有问题各自回答一遍，这样就总共是 10 道题目。
通过评测，我们看到了大模型在学习或教育类的问题上暂未成熟，尤其是数学这样要求精准的科目上，仍然需要继续训练。不过，我们依然看好大模型的未来，他们在教育领域的应用也是必然。
01
" j( _8 h$ W7 j4 [8 ? " 作为出卷人 "：题目正常、不算偏怪难
9 W- \1 O! P2 V  C- H, E
4 v2 q4 U! `4 A! E: t. p6 b万万没想到，在出题上双方就迥然不同。以下是双方给出的题目：
: R0 S% ?: p0 U' _! r




点评：文心一言每道给出了 A、B 两套题，通义千问按要求给出了 5 道题。我们给了文心一言两次机会，它依然出了 "A、B 卷 "，有些看不懂 [ 挠头 ] ……我们最后从每道题中选择了一道题，除了第 4 题外，其他题目都选择了 A 题目。
) v: V0 i* g6 W" J  l对于这 5 道题目，通义千问看起来更灵活，也更有针对性，更像一个 " 出卷人 "。比如，第 3 题，出一道作文题目，跟通义千问的题目就非常像高考热门命题方向，是跟科技与人文相关的。从出题难度上来看，双方出的都比较偏简单。比如翻译题目，双方出的题目看起来都不像高中的英语题目。
来看他们下面的作答情况——
# A7 j  W3 m* \; d; Y% P02
翻译题目
% B% G* |8 r6 b7 ?第一题英文翻译，文心一言的题目，是让把英文翻译成汉语：
" ^" f# J! [- S& _5 x% C
$ C& b( R: r2 t, H) e. n8 n8 j

0 a5 [4 s  a5 z
  \  o1 q+ M' z! y. o- u  J! L
) n/ w: K  l: {' k) `# D7 U0 D$ k' C- `点评：这个题目两个都翻译的大同小异，通义千问的会更具体。可能因为题目是文心一言出的，所以它直接翻译成了汉语。而通义千问会问是 " 翻译成哪门语言 "，考虑得更周到一些。
" k3 p0 Z  a9 M" ]- Q2 ^来看通义千问出的这道翻译题目：
( j5 x9 r: ]- ~+ E
5 c5 q7 ~6 W- T+ m' D6 y
# C& m; ~! z- \

3 R, C  M* l$ ?( j8 g点评：文心一言翻译的是 " 请问我怎么读这个词？" ，通义千问翻译的是 " 你能告诉我这个词是什么意思吗？" 文心一言的翻译更准确一些。通义千问自己出的题却没有答好，有点匪夷所思。
' [/ X  i/ f5 i1 q要么跟通义千问换一个问法吧，回答如下：

! }" V3 t% K% X/ J

- K- d* W/ `- ~" {0 ]越来越离谱了。。
9 f0 s/ a) h7 k( m  U+ R) ^) w5 }
1 v" K9 b0 A. T! G* P# I/ k
9 M7 k) R7 d' M; ]: P


7 o4 a5 Y; R6 r8 f9 {通义千问多轮对话的能力堪忧……
03
" z9 [* M& A4 A6 N8 L) S/ E数学题目
9 u" H' C/ q5 p& Y; k2 A* U: z, N来看初中的数学题：



: {- y0 _) J+ J' _- @# [7 U

点评：又一次匪夷所思，这次轮到文心一言出的题目自己也做错了。这道题目是分数相乘的结果，文心一言理解成了除法。即便理解成除法，最后也不应该等于 6。不知道这个结果怎么来的，迷之尴尬。通义千问理解对了，最后是 1/8，即 0.125，这是一个确定的值，不明白为什么最后它写的是 " 约等于 " 号，不知道是因为不自信，还是因为马虎写错了？
  Q& t+ |+ T/ N# d6 g这次二者相同的地方在：都没有给出解题步骤，也没有给出解释。
通义千问出的初中数学题目：

8 O9 o6 \& T* |% l! D


2 B9 g, w' W: S" z
, o/ `$ d/ ?4 y' H' I" j' b$ {  Z点评：让文心一言回答了两次，都是 x:9，y:0，文心一言可能连正三角形是什么都不知道。这个题目通义千问回答地非常清楚，给出了完整的解题过程，结果也是对的。
# u- c) \2 x/ N5 I' q有点不死心，再次问了文心一言：
& m  M4 m8 D1 q8 N
4 v! {' ^8 F5 l' ^0 s" ?
" E" i9 M( Q, X
  ^- k: v$ n! C; F+ v' |3 t我们发现，文心一言其实知道正三角形是什么，但是，它就是解不对题目，第三遍依然错误。
还是不甘心，继续跟文心一言对话，想着让它让画一个正三角形的图吧，如下：
" ?4 ^, s3 F( ]0 B: J/ s9 ~

2 H* [6 x4 `8 }% c/ S7 Q: G( u
这……好吧 o ( ╥﹏╥ ) o，文生图的能力还得加油啊 ~~
04
3 ]+ P- q8 [5 U# U: _写作题目
1 t/ V0 o, y+ j! A来看文心一言出的写作题目，双方的作答情况：
6 ?7 \# U3 f4 E* m  W5 ]# v
0 h. Q4 p: M! \1 A* C! a+ C

5 w; u! p6 ?. Z+ n  ?' m

1 G! m8 }1 z" I$ @+ c" |点评：从题目来说，这道题让人想到央视 2012 年的采访，" 你幸福吗？" 这道题目看似简单，实则有一定难度，很容易落入俗套，很难脱颖而出。
, o* T# i, s: H" b- L; X再看两者的小作文，第一句话居然神同步了。从内容来看，二者结构也基本相同，均是从各个角度阐述 " 幸福 "，不过，文心一言更偏重个人层面的感受，而通义千问涉及到社会层面以及与他人的关系。整体来看，不分伯仲。大家觉得呢？
3 l' M8 x  w' B4 k" {2 b4 g& u; `/ {来看通义千问出的作文题目，双方的作答情况：
9 [9 ^4 f& W  j7 T9 Q' `2 P

! V9 v' Q$ Y& p9 t
6 A# M" D7 i: {) B: M: v' Q" t
( s$ {6 }9 W$ w; R" Y" v/ B9 }' j0 R
% [  _. o2 k  K8 t8 v7 Q( b" W9 \2 x
8 n( J; C5 d! s8 c2 H: x
0 R, N" A/ u: t! a2 q/ k
/ A$ k2 P4 o' g6 _3 u

9 ^$ `3 p9 E7 O5 V3 H3 j/ _
点评：从题目来看，通义千问出的这个题目非常像高考作文，很有出卷人的视角，是科技创新的方向。
* C* r% Z' j: a1 z对于两者的写作，文心一言对这道题目似乎有很多思考，但直接按框架写作的，有点像论文，读起来有些生硬。通义千问的这篇虽然篇幅不长，但看起来更像一篇议论文。
05
代码生成
3 ^) m/ d$ ~( ~" D3 e5 Q来看代码生成的相关题目：

5 T  d6 M# j/ a


' Y8 A) E/ H! Z! r1 }  f- {
点评：文科生表示看不懂，拉来一名程序员帮忙看了看，他表示：" 核心段是一样的，不过，文心一言没有声明变量。" 懂编程的老师们可以留言点评一下 ~~
+ t2 s, _% l- c2 {: `) v$ X) G再来看通义千问出的这道代码生成题目，二者作答情况：
7 U; M  N7 l! i6 Q; Z$ W

: P; l; N; I: O* B
; \6 w) j) |& @2 o2 R7 D0 _8 g

2 C: t# n6 F1 k1 S  c点评：同样来自程序员的评价：" 这两个对题目的理解都不一样，所以写的也不一样。文心一言的是生产随机字符串，26 个字母随意拼；通义千问的是随机的英文单词，我感觉这个更切合题目。"
06
$ S# {; _( s7 b0 F  Q( K* z心理辅导
最后是心理辅导方面的题目，文心一言出的题目，看看双方的作答：
9 V* ~" k% [! U1 b- f
4 T6 j  T. q, @/ H" o) i
) f! ?; ]$ y& {! n) D8 j


* e% W) o' f+ c0 n7 ?1 l点评：从题目来看，文心一言出的这个题目比较宽泛，比如情绪有很多种，是什么样的情绪呢？文心一言并没有说明白。在作答方面，二者在心理方面的辅导大同小异，且都是列点式的回答。两个都给出了管理情绪的具体方法，比如都提到了冥想。
最后一道题目，由通义千问提出的问题，看看双方的解答：


& Q1 l+ Y/ O. E& t; P7 c
# n+ k2 }# Z+ Y# C1 h. a8 [. l( r! S% E




* v/ `9 c& _; R3 U
) ^5 D# I3 _2 T" _点评：首先先看题目，通义千问的问题非常具体，很有针对性。再看作答，两者给出的心理解决方案都非常具体，文心一言还给出了 " 焦虑和压力 " 形成的原因。二者给出了不同的心理辅导方案，通义千问的会更多元一些。相同的是：二者都提到了学会调节情绪，还都提供了相应的理论参考。
# c$ A: @9 s, L+ T! V07
总结
# J( b* K- M! O, e在出题方面，通义千问像一个出题高手，针对性较强，文心一言出了 A、B 两套题，可能想提供更多的方案，但有的题目比较宽泛。
针对题目解答，在翻译类题目上，二者不相上下，文心一言可能略胜一筹。
: Q6 |' M8 J7 `$ P- N& q在数学类题目上，看起来通义千问更好一些，有的还给出了清晰的解题过程，文心一言还需要提升。
在作文题目上，二者各有千秋，但都还是有机器回答的痕迹。
* a! {0 ?+ P. @# x在代码生成题目上，都有这方面的能力，可能文心一言需要更理解题目。
7 K; c9 [$ ?9 o+ ~. n0 z9 Z+ U在心理辅导方面，二者都比较详尽，对学生和家长来说有一定的指导意义。
从整体作答风格来看，文心一言偏稳重，通义千问更灵活一点。
3 `! y7 J* Z* S; Y6 T. w从答题速度上来看，通义千问的速度更快一些。比如先给文心一言输入问题，再给通义千问输入问题，最后先作答结束的是通义千问，文心一言似乎会有一个 " 思考 " 的过程。
" Q  @& A, @% Q4 h从多轮对话能力来看，两者都有一定的多轮对话能力，都可能会根据反复对话有所校正，文心一言可能略好点，通义千问有时候比较疯魔。
文生图方面，文心一言还需要提升，差距比较大，通义千问还没有上线文生图。
这次评测的均为学习或教育方面的问题，题目不多，或许评测有偏颇。整体而言，完全用我们目前的大模型来辅导学习，尚存距离。国内的大模型还在路上，需要给他们成长的时间。正如 ChatGPT 一样，它也经历了从胡乱解题，到逐渐靠近正确答案，尤其是 GPT-4，在专业和学术上接近人类水平。
盖茨说 "AI 聊天机器人将 18 个月内可以辅导作业 "，指的应该是国外的大模型，国内的或许还需要更长时间。
END
7 }/ Q5 n+ Z7 J1 N! @5 Z本文作者：王上