ChatGPT之父：巨型AI模型时代已结束，下一步需要新想法 ...

yi叶秋枫

·山姆·奥特曼表示，新的进步不会来自于让模型变得更大，“我认为我们正处于巨型模型时代的末尾”。他的说法表明，GPT-4可能是OpenAI“使模型更大并为其提供更多数据”战略中的最后一个重大进展。
! M: g- W/ m* y+ }5 R5 F( z
/ X' N6 l  ^6 K人工智能开发机构OpenAI的首席执行官山姆·奥特曼最近表示，ChatGPT的研究策略——巨型AI模型模式已经结束，目前尚不清楚未来的进步究竟来自何处。
  C% {& k& i' ^+ \% F1 k5 w近年来，OpenAI通过采用现有的机器学习算法并将其扩展到以前无法想象的规模，取得了一系列令人印象深刻的进步。GPT-4是其推出的最新模型，可能使用了数万亿个文本单词和数千个强大的计算机芯片训练，整个过程耗资超过1亿美元。
( Q- Q2 m# K8 ], `2 DOpenAI首席执行官山姆·奥特曼。
5 j+ |6 c) m! M9 F  Q5 I9 D; t

, q+ d8 U% K3 ^5 `9 F4 H* U- H3 P奥特曼上周在麻省理工学院举行的一次活动中告诉观众，新的进步不会来自于让模型变得更大。“我认为我们正处于巨型模型时代的末尾。”他说，“我们会以其他方式让它们变得更好。”
科技媒体《连线》4月17日报道称，奥特曼的声明表明，在开发和部署新AI算法的竞赛中出现了意想不到的转折。未来人工智能的进步将需要新的想法。
自OpenAI于去年11月推出ChatGPT以来，微软利用底层技术为其必应搜索引擎添加了聊天机器人，而谷歌则推出了聊天机器人Bard。与此同时，包括Anthropic、AI21、Cohere和Character.AI在内的众多资金充足的初创公司正在投入大量资源来构建更大的算法，以努力赶上OpenAI的技术。在中国，大批企业争相公布大模型产品，试图尽快挤入这个赛道。
奥特曼的声明表明，GPT-4可能是OpenAI“使模型更大并为其提供更多数据”战略中的最后一个重大进展。他没有提出什么样的研究策略或技术可能会取代它。在描述GPT-4的论文中，OpenAI估计，扩大模型规模的收益在递减。奥特曼表示，企业可以建造的数据中心数量和建造速度也存在物理限制。
$ y. [2 N+ u( \7 |- \! A$ Z* j6 S$ m2 WCohere的联合创始人尼克·弗罗斯特（Nick Frosst）表示，奥特曼的想法听起来是对的。他也认为，Transformer（GPT-4及其竞争对手的核心机器学习模型类型）的进展超出了扩展范围。 “有很多方法可以让Transformer变得更好、更有用，而且很多方法不涉及向模型添加参数。”他说，新的AI模型设计或架构，以及基于人类反馈的进一步调整是许多研究人员已经在探索的有前途的方向。
在ChatGPT首次亮相后，技术专家推测GPT-4出现时将成为规模和复杂性令人眩晕的典范。然而，当OpenAI最终宣布GPT-4时，并没有透露它的参数规模有多大——也许是因为规模不再是最重要的。在麻省理工学院的活动上，奥特曼被问及训练GPT-4是否花费了1亿美元，他回答说：“不止于此。”
在这个活动中，奥特曼也证实OpenAI目前没有训练GPT-5。他在回应呼吁暂停更高级AI训练的公开信时表示， “这封信的早期版本声称OpenAI目前正在训练GPT-5。我们没有，而且一段时间内不会。”

yi叶秋枫

GPT-4可能是OpenAI“使模型更大并为其提供更多数据”路径中的最后一个重大进展，扩大模型规模的收益在递减。。问题不再脚本、算力的规模，而在质量和结构；创新性不是源于复制和叠加，而是差异与综合！