|
|
最近两个月,科技圈最热的话题,无疑是 OpenAI 推出的对话式 AI 应用 ChatGPT,不仅可以让它给你写一首诗、回答你的任何问题,甚至可以让它帮忙写没那么复杂的代码。业内甚至认为,ChatGPT 甚至有取代谷歌的潜力。
9 N$ v* M5 T/ E( z 为 ChatGPT 欢呼的还有另一群人,就是「社畜」和学生——他们发现月度总结、学校论文和作业这样的任务,也可以让 ChatGPT 代劳了,后者甚至写得有模有样,不比真人写得差多少。& Q- |' V% M6 P- I+ q# ~( H
ChatGPT 似乎让学生们的日子更轻松了,但却让教师更「头疼」了,因为后者很难确认,眼前这些文字,到底是学生写的,还是出自 OpenAI 的产品之手。为此,纽约教育部甚至禁止公立学校使用 ChatGPT。
1 b3 x" |7 g& H. i' e 在这样的混乱中,一位普林斯顿大学的学生,Edward Tian 推出了一个专杀 ChatGPT 的应用——「GPTZero」,有了这面「照妖镜」,内容是人写的,还是机器写的,真相马上就揭晓。. `0 C; J, t! N3 S# V ~
「GPTZero」在网络迅速爆红,吸引了 a16z 在内的硅谷创投的目光。但是应用创造者本人 Tian 却认为,最重要的事,是「让 AI 更加透明」。
+ A2 p; W! W! K; W+ _$ B 01" T3 N& U5 E3 w6 ^ H8 [% m/ M
「ChatGPT 杀手」* w% t' g2 l& @6 @- F7 j
在 ChatGPT 成为学生们「偷懒」的神器后,教育和科研机构不得不开始抵制这个新的噩梦。
! {8 j% J1 g8 Y2 K, Q, h8 E. j 纽约教育部宣布禁止学生在公立学校使用 ChatGPT ;全球知名机器学习会议之一的 ICML 也宣布禁止发表包含由 ChatGPT 和其他类似系统生成内容的论文,以免出现「意外后果」。
" i E0 s- C% N5 P$ T$ T/ k 出于对学术界,使用 ChatGPT 相关道德问题的担忧,华人小哥 Edward Tian 在一家当地的咖啡店里,花了一个寒假的时间,研发了 GPTZero,希望能让学术界恢复严谨性。
% U" b; `) t; r4 k: {3 q! M* D Tian 年仅 22 岁,目前仍是美国普林斯顿大学的大四学生,主修计算机科学专业,专门研究自然语言处理,同时辅修认知科学和新闻学。2 X7 i3 X/ z; a/ c9 |
! |9 [9 }8 m5 u1 }9 x
GPTZero 的开发者 Edward Tian|网络
' M/ t5 u: g: t+ H, k# E6 \& n 他还曾是英国广播公司和开源情报网站 Bellingcat 的研究员,也曾是被微软收购的反恐初创公司 Miburo Solutions 的分析师。在那里,他监测虚假信息和机器人检测。Tian 说,「所有的这些经历,都是他研发 GPTZero 的动力」。
/ P3 _6 s* q/ _" _, S) z8 j; F( m 2023 年 1 月 2 日,Tian 将 GPTZero 发布到网络,预计只会有几十个人尝试它,完全没有想过,这会掀起一场世界级别的轩然大波。
3 x* A: _/ } c 在他把这款软件上传到互联网上的几个小时内,竟有超过 2000 人在 Steamlit 上测试了 GPTZero 的公开版本。
" y, l1 ?( H- M& z3 } w 1 月 5 日,也就是发布的第三天,Tian 对 GPTZero 做出了更新和改善,还显著降低了误报率;此时,新程序已有超过 1 万的用户量了!Tian 也不禁对它的「爆炸性增长」和「病毒式传播」感到震惊。0 m1 z7 c3 J+ N0 `1 R2 P1 @
据 NPR 报道,一周内有 3 万多人试用了 GPTZero,甚至「导致该应用由于出乎意料的高网络流量」而崩溃,托管 GPTZero 的免费平台 Streamlit 此后介入,以更多的内存和资源支持 Tian,以处理网络流量。
: N! c; |7 }& B6 A) T9 i# w Edward Tian 通过在视频中展示其对一篇《纽约客》文章和 LinkedIn 上的 ChatGPT 生成器的帖子的分析,展示了该应用如何区分人类和人工智能撰写的文本。
- l! a. J) R/ R& e3 f& Z& L& L$ _ GPT Zero 的工作原理就是检测文本的「困惑性」(Perplexity)和「突发性」(Burstiness)这两项指标,并分别对其打分,根据统计学特征来确定,文本是由人工智能写的还是人类写的。总体来说,如果这两项参数得分都很低,那么该文本很有可能出自 AI 之手。. S$ e# m9 n4 A- y! f4 @ D: {
这里所说的「困惑性」,是指来自人类所写作品的语言的复杂性和随机性。0 I% i6 D0 O& e" `0 C8 u
这个指标主要是衡量文本在一个句子中的随机程度,以及一个句子的构造方式是否会让 GPTZero 感到困惑。: I! R& ^6 N$ Y, L, Z! f8 P* G0 S
每当用户在 GPTZero 输入一段测试内容,它就会分别计算出:「文字总困惑度」、「所有句子的平均困惑度」、「每个句子的困惑度」。
/ B# C/ ^9 M9 ~ D 这些数值越低,越能说明这个文本对 GPTZero 来说是非常「熟悉」的,那么它很可能是 AI 生成的;相反,如果这些数值越高,就越能说明文本中句子的构造或用词方式让 GPTZero 感到「惊讶」,那么它就更可能是出自人类之手。. t0 P6 f! h* a$ V- o- }! v3 v
这是因为,人工智能接受过数据库的训练,生成的文本在一段时间内,表现出的困惑度会更均匀和恒定,选词的可预测性也更高;而人类书写的文本则不会这样,真人的遣词造句一般会比较随机,比机器更容易写比较出乎意料的词句。) s# [$ x' `1 A; l& B
使用 GPTZero 检测文字是否由 ChatGPT 生成|Twitter. b( T5 H9 D( J! Z% e( t
而「突发性」,则是指来自人类使用的句子结构的变化。
5 H, Q6 Z9 B6 l! b3 u& h% i 这个参数主要是比较句子复杂性的变化程度,衡量它们的一致性。; Y, ^ G' B& Z% T
这是因为,人类倾向于写高度复杂的文本;而人工智能产出的文本则是低复杂度的;此外,由于人类的思维结构不是线性的,他们的句子结构也遵循类似的模式。& q6 H u( w+ R" N% C3 Y9 H: p
这意味着,人类使用句子结构,会在长而复杂的句子,和短而简单的句子之间摇摆不定,有着更多的句式变化,比如复杂和简单交替并存,一个长难句之后接着出现更简短的句子;而机器生成的句子则倾向于更加统一,很少会有一系列长度相差很大的句子。
) ]( A5 e' E/ a! K, e 简而言之,在选词上「简单」而「熟悉」,并使用「统一整齐」的句子,是人工智能生成作品的标志特征,而更复杂和多样的东西,则表明是人类写的。这也是「困惑性」和「突发性」这两项指标可以作为衡量标准的原因。+ s7 @! U, p0 Q D5 B' v
除了 Edward Tian 本人对 GPTZero 进行测试之外,也有不少网友用它对 ChatGPT、一些 GPT-3 衍生工具生成的内容进行了多次测试。最终结果显示,GPTZero 每次都能抓住 AI 生成的文本,并在十多个案例中正确识别了人类写的文本。
7 B& ?* }8 M7 L. f GPTZero 的一炮而红,让 Tian 获得了来自 a16z、 Menlo Ventures 和 Red Swan 等知名风投的青睐。不过,面对推特私信和电话轰炸,Tian 却显得异常冷静,他谦逊地表示自己不会拒接投资者打来的电话,但他不会忘记自己仍然是一位即将毕业的大四学生。
" ` x( d Y* a) V% ^ 同时,他还表示自己的 GPTZero 尚未完成,仍需改进和进一步地开发,甚至计划让大家继续免费使用他的程序,用来支持各地新晋英文老师的工作。
$ n3 `& _9 c& d( V( |" Q 02, l5 i( Y8 V8 ]& _" D( w
急需的「AI 透明」
* u5 M) a3 v& ~3 U' B3 j8 I 对于 GPTZero 这一甄别文字是否是 AI 写作的新程序,推特上的舆论褒贬不一,以教师为代表的成年人大多喜闻乐见,而学生却讽刺 GPTZero 的创造者 Tian 是「学术缉毒警察」。7 u8 j! k L1 U9 R4 k9 O
的确,当 GPTZero 推出时,Tian 收到了众多教师对该应用程序在检测 AI 写的文章方面的积极反馈,来自世界各地的无数教师也都对 Tian 表达了他们的感激之情——这让他们的教学难度大大减轻了。4 W. [, t l. r
当然,也不难理解,不少学生并不看好 Tian 这款打击学术偷工减料、不劳而获的软件。
! v* F: |; o% h J: U" g3 d N, X; I 事实上,不只是 Tian,就连 ChatGPT 的开发商 OpenAI 自己,也已经表明了对防止人工智能剽窃的承诺。
6 b3 F: R: X" i 2022 年 12 月,OpenAI 专注于人工智能安全的研究员 Scott Aaronson 透露,该公司正在努力开发「缓解措施」,用一种「不易察觉的秘密信号」对 GPT 生成的文本打上「水印」,以识别其来源,从而打击作弊的系统。
* ^& ~! w! R' @+ {: N ~5 | 这项技术将通过微妙地调整 ChatGPT 选择的特定单词选择来发挥作用,读者不会注意到这种方式,但对于任何寻找机器生成文本迹象的人来说,这在统计上都是可预测的。
! ?0 g% w0 S* M4 {$ N, ]; c" x 公司发言人表示,「我们将 ChatGPT 作为新研究的预览技术,希望能从现实世界的应用中进行学习。我们认为这是开发和部署功能强大、安全的 AI 系统的关键部分。我们会不断吸取反馈和经验教训,」。
2 S- t( a2 x. Z8 l2 Q8 g* p
" S# A2 k7 \$ h# m: l GPTZero 首页|GPTZero
9 e, Y. p) p% }3 Z 此外,OpenAI 还联合哈佛等高校机构联合打造了一款检测器:GPT-2 Output Detector。5 \& B+ O: q# Q7 z2 n" T) l
作者们先是发布了一个「GPT-2 生成内容」和 WebText 数据集,帮助 AI 理解机器语言和人类语言之间的差异。% i: q' f; l- ?5 y# ^8 ~, k0 Q
随后,用这个数据集对 RoBERTa 模型进行微调,就得到了这个 AI 检测器。其中人类语言一律被识别为 True,AI 生成的内容则一律被识别为 Fake。
) k$ c8 @) M2 v' ^/ M5 F6 N 值得一提的是,RoBERTa 是 BERT 的改进版。原始的 BERT 使用了 13GB 大小的数据集,但 RoBERTa 使用了包含 6300 万条英文新闻的 160GB 数据集。
& e" y4 o6 Q8 L9 a5 l 尽管如此,还是有不少人认为,「AI 文本检测器」注定是一场失败的「军备竞赛」,其实际效果并不理想,更无法阻挡 ChatGPT 等 AI 语言模型的发展。
9 [. e) H/ j0 i$ G* o( D 然而,尽管 Tian 建立了 GPTZero,他并不反对使用 ChatGPT 等人工智能工具,他认为 GPTZero 应用程序的目的不是阻止这些新技术的使用,而是提供一种负责任地使用这些技术的方法,并提供必要的保护。) b/ b( Z! i" j1 O
同时,相对于对抗或者禁止一项技术,也许更重要的是如何为其使用定下规范和标准。例如,在广告、影视及娱乐等行业,对于 AI 生成类内容的容忍度可能适当提高一些;而在学术、教育和科研领域,非常强调准确性和原创性,毫无疑问,对于 AI 生成内容的容忍度就要低一些。
( ^5 q+ @9 l% j 而如何确定 AI 工具使用的「透明度」,可能要比研究如何「反 AI」,要更有效,也更有意义一些。 |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|