张宏江对话 Sam Altman：AGI 或许 10 年后到来，但现在就要为迎接它做准备 ...

亦心绿

在 Sam Altman 发布了主题演讲之后，智源人工智能研究院理事长、院士张宏江与其进行了 20 分钟的对话。张宏江代表观众、以及一线研究员、科学家问了很多不同角度的问题。
围绕 AI 对齐和安全这一复杂议题，Altman 表示，需要考虑非技术因素，但关键是需要一个安全的技术方案作为解法；Altman 也分享了迄今为止在世界环游中的收获，并强调对于 AI 安全而言，建立统一公平的框架和测试标准，让每个达到一定能力的 AI 模型都接受测试十分重要；回应人们对 Open AI 本身的好奇，Altman 表示虽然他们在计划 GPT-5，但是不知何时会到来。
至于驱动 OpenAI 诞生和取得突破的因素，Altman 将其归于「使命感」——这会促使人拥有源源不断的精力，想各种办法应对挑战。这与上周在以色列一所大学的交流中，首席科学家 Ilya 所表达的「你对这个信仰越多，你就能取得越大的进展」不谋而合。
以下是经极客公园编辑的对谈实录：
% j& z- X6 m- J/ k( w精彩摘要：
9 l# D0 K8 Z6 v0 k. ]& O1、在 10 年内，我们应该准备好迎接一个具有非常强大系统的世界。
0 S; O4 l1 d* g7 {( ?2、很难预测技术可能会犯的错误，因此要从现实世界对技术的使用以及反馈中学习，更新和优化。
- e9 q, f  M6 Z: c7 B/ L& L3、在世界巡游中，Sam 致力于推动一起制定关于安全开发 AI 的国际标准，具体涉及：模型部署前如何测试；建立反映全球价值观和偏好的数据库；如何分享 AI 安全研究。
4、Open AI 已经改变了非常多最初的 Transformers 的架构。如果有新的架构取得突破，不会令人意外。
5、对于安全问题，如果没有一个技术的解决方案，任何方面的事情都将非常困难。
+ h6 ^. J; M) w3 R) c+ x; b( e6、一定程度上开源有益于安全，但 API 模式也有重要作用，它提供了额外的安全控制能力。
7、Open AI 相信 ，AGI 将是人类社会迄今所建造的最具变革性的东西。
正文：
. m8 q  s5 F, O! v$ U0 t 1 AGI 或许 10 年后到来，但现在就要为迎接它做准备
4 n8 Z0 G0 k" `# K张宏江：嘿，Sam ，很高兴再次见到你。虽然这次是在 Zoom 会议上。你上次来这里好像是六年前，在一个会议上（Sam：2018 年）。我们准备了大量的问题。但我们先从一个接近你演讲主题的问题开始：你在一开始就提到了 AGI 的承诺。我们离 AGI 还有多远？包括安全的 AGI 和潜在不安全的 AGI。
Sam ：很难预测准确的时间。但我认为很有可能在未来 10 年，我们会有非常强大的 AI 系统。在这样的世界里，解决好 AI 的安全问题是非常重要和紧迫的。这就是为什么我呼吁国际社会现在就要在这方面一起努力。
历史无疑为我们提供了许多新技术从根本上改变世界的例子，其速度比许多人想象的要快。而我们现在看到的加速，以及这些系统的影响，在某种意义上，是前所未有的。因此，为它很快发生做好准备，并在考虑到利害关系和规模的情况下，正确处理安全问题，似乎相当重要。
张宏江：所以你确实有一种紧迫感，你还提到了也许十年后，AGI 会有一个突破。
: Z4 b& l0 ?) {3 C, hSam：是的。我想强调的是，我们并不真正知道（AGI 什么时候来）。而且对 AGI 的定义也是不同的。我认为在 10 年内，我们应该准备好迎接一个具有非常强大系统的世界。
8 F: F$ ~' z4 S: Q8 J& m' V张宏江：你在演讲中，也提到过几次全球合作。我们知道，在过去的六、七十年里，世界面临了过许多次危机，很多人设法建立共识，建立全球合作。你现在也在全球旅行，你正在试图推动的全球合作具体什么样的？你对迄今为止得到的回应有何感想？
Sam：我对目前为止的反应非常满意。我认为人们在非常认真地对待 AGI 的风险和机会。过去六个月里，相关讨论有了很大的进展。人们似乎真的致力于找出一个结构，使我们能够享受这些好处，同时在全球范围内共同努力，以减少风险。我认为我们在这方面处于非常有利的地位，全球合作总是困难的，但我认为 AGI 就是那种能够将世界聚集在一起的威胁和机遇，我们可以共同为这些系统提出一个框架和安全标准，这将是相当有帮助的。
张宏江：当我们处理这个潜在风险时，有哪些我们曾经成功处理过的大挑战，可以作为参考的例子吗？
/ C8 S1 Y3 |, E. C+ L1 n% R" r$ m6 XSam：我们已经在全球范围根除了一些非常严重的疾病。这需要大量的合作。我们已经处理了会导致问题的化学品，例如在臭氧层的问题上。有许多例子表明，我们（可以）一起处理一件事。
, b; {! C9 Q6 Z3 {( T张宏江：你提到先进的 AI 系统的对齐问题，这是一个还没有被解决的问题。我也注意到，虽然在过去几年中付出了很多努力，你也提到 GPT-4 是迄今为止在对齐方面最优秀的示例。你认为我们可以简单地通过对齐来解决 AI 安全问题，还是 AI 安全问题比对齐问题要大得多？
Sam：我认为对齐这个词有不同的使用方式。我们需要解决整个挑战，即如何才能达到安全的 AI 系统。传统意义上的对齐，即让模型的行为符合其用户的意图，当然是其中的一部分。还会有其他问题，比如我们如何验证系统正在做我们希望它们做的事情，以及我们让系统与谁的价值观保持一致。但我认为，重要的是要看清全景，为实现 AGI 我们需要做些什么。
张宏江：从技术视角来看，GPT-4 在很大程度上已经做了很多事情，但是对齐问题（仍然还有许多需解决）还有许多其他因素，不仅仅是技术。这确实是一个复杂的问题，复杂问题的解决通常需要系统级别的解决方案，AI 可能也不例外。因此，除了技术方面，你认为还有哪些因素，对于 AI 安全非常关键？我们应该如何解决这些挑战？作为科学家，我们应该做什么？
Sam：这当然是一个非常复杂的问题。我想说的是，如果没有一个技术上的解决方案，任何方面的事情都将非常困难。因此，我认为关注的重心应该放在以安全的方式解决技术问题。这是相当重要的。而正如我前面所说的，弄清楚价值观与什么相一致，不是一个技术问题。解决这个问题需要技术见解辅助，但这本身值得全社会深入讨论。
8 u! g6 a& Z( O( \ 我们将不得不设计出公平、有代表性和包容性的系统。还有，正如你所指出的，我们需要考虑的不仅仅是 AI 模型本身的安全，而是整个系统的安全。因此，可以在 AI 系统之上附加安全分类器和检测器，监测使用是否符合准则，这很重要。还有，我认为很难提前预测任何技术可能会犯的所有错误。因此，从现实世界的使用中学习，反复部署，看看当你真正接触现实并改进它时，会发生什么，给人们和社会时间来学习和更新，思考这些模型将如何与他们的生活发生好或坏的互动。这一点非常重要。
$ t4 P9 e& X# l. W  l, `张宏江：关于 GPT-4 和 AI 安全，你认为我们是否有可能需要改变目前 AI 的整个基础架构或模型，使其更安全，更容易被检查？你有什么想法吗？
5 Y3 r1 G  D, n- L& Z& dSam：我认为确实很有可能需要一些非常不同的架构，无论是从 AI 能力角度还是从安全角度。在目前的模型中，我们可以在可解释性方面取得一些良好的进展，可以让模型向我们更好地解释在做什么和为什么这么做。但是如果 AI 未来在 Transformers 模型之外取得了大的飞跃性突破的话，我不会感到惊讶。实际上，我们也已经改变了非常多最初的 Transformers 的架构。
2 解决 AI 安全问题 需要国际合作建立测试框架
张宏江：关于全球合作，你一直在做巡回演讲。中国、美国、欧洲，这三个基本群体是 AI 创新和 AGI 背后的驱动力。那么在你看来，不同的国家在合作解决 AGI 问题上有什么优势？为了解决人工智能的安全问题，如何将这些优势联合起来？
Sam：我认为一般来说，需要有关于 AI 安全的不同观点。我们还没有得到所有的答案。而这件事非常重要，也很难解决，正如之前所提到的，它不纯粹是一个技术问题。使 AI 安全和有益，涉及了解不同国家、在非常不同背景下的用户偏好。因此，我们需要很多不同的投入来实现这一目标。
中国有一些世界上最好的人工智能人才。从根本上说，我认为，鉴于解决先进的人工智能系统的对齐问题难度极高，我们需要来自世界各地的最好的头脑。因此，我真的希望中国的 AI 研究人员做出巨大贡献。
张宏江：你提到了中国，你已经访问了相当多的国家，能否分享你在合作者方面取得的一些成果，以及你在这次世界旅行中，与各政府、各机构的互动中，有什么计划或下一步的想法？
Sam：我认为让人兴奋的一个很大发展是聚在一起制定国际标准，这些标准关于如何安全地开发先进的 AI 系统。关于非常强大的模型训练后，被部署之前，我们要如何思考测试应该是什么；关于建立一套反映全球价值观和偏好的数据库，让人们可以用此来调整他们的系统，我们也有很好的对话；以及我们建立怎样的形式，来分享 AI 安全研究。这就是到目前为止出现的三种最具体的事情。
张宏江：我们一直在讨论，其实如果世界上只有三个模型，可能会更安全。这就像我们对核的控制，我们不希望出现核扩散，所以我们签署了核不扩散条约，希望控制可以获得这种技术的国家的数量。那么，你认为这是不是我们应该发展的方向，即控制模型的数量？
# b; n0 A" z! ISam：模型更少更安全还是更多更安全，目前有不同的观点。我认为更重要的是，我们是否有一个正确的框架，一个系统，使得任何强大的模型都需要通过足够的安全测试？我们是否有一个框架，使得任何正在创建一个足够强大的模型的人都能有足够的资源，也被规定需要确保他们创造的东西是安全的、与人类价值观对齐？
张宏江：昨天参会的 MIT 人工智能与基础交互研究中心教授 Max Tegmark 提到，他认为这个过程可以类比于高速站的卡口，或者是新药研发的流程。我们设计一个新药，肯定不能马上把它推出上市，一定需要很长的检测流程。你认为这是一个我们可借鉴的流程吗？
0 [+ s: P4 D0 L% [# a& x  s4 H9 WSam：我非常认同。我认为在将一项新技术推向市场时，各行业都已经开发了许多不同的许可和测试框架，我们应该尽可能地借鉴。从根本上说，历史上我们已经有了能够发挥作用的很好的方法。
. X$ f" L& c& ]# |, l 3 「推动 AGI 能让我完成自我实现」
! q( ^% u3 G+ @% P; B5 ?张宏江：今天的论坛主要是讨论 AI 的安全问题，但由于人们对 Open AI 非常好奇，所以我确实有一个 Open AI 的问题：Open AI 是否有重新开源的计划，重新开源模型，像 GPT-3 那样？我认为开源也对 AI 安全有益。
Sam：我们目前选择开放一些模型，不开放另一些模型。但随着时间的推移，我想你可以期待我们在未来继续开源更多的模型。
# v. G& P1 R" Q$ Y3 ?, \张宏江：但在我担任理事长的智源研究院，我们投入了所有的努力将模型、开发模型的算法、微调模型的工具、训练模型的数据等等开源。我们相信，分享是有必要的。分享出这些，能够让人们感觉到对在使用的东西有控制权。那么，你是否也有得到有类似的反馈，在 Open AI，你和你的同事之间是否也有类似的讨论？
Sam：是的，我认为开源确实能起到重要的作用。并且最近，开源模型有相当多的进展。不过我认为，API 模式也有重要作用，它为我们提供了额外的安全控制能力，你可以避免某些不良使用方式，你可以避免某些人对其进行特定种类的微调。如果出现一些问题，也能及时停止修改。
  Y% u' L% o3 U) ?# v在目前的模型规模下，我并不特别担心开源的问题。但是，如果模型真的能如我们所期望的那样强大，如果我们的期待能够成真，那我认为到那时开放所有的资源可能不是最佳选择，尽管在某些情景下肯定是正确的。我认为我们需要小心翼翼地把握好平衡。但是，确实，我认为开源模型和研究在某些方面是有安全优势的。
张宏江：我自己也是一个研究员，我相信在座的听众都非常好奇，在 AGI 研究方面、在更大的模型或更大的语言模型方面，下一步是什么？不久后我们会看到 GPT-5 吗？作为下一个前沿，在具身模型（embodied models）上，自主机器人，是 Open AI 接下来打算研究的吗？
Sam：我对接下来的事情非常好奇，这项工作中我最喜欢的事情就是站在研究前沿，这让人兴奋和惊讶。我们还没有答案。所以我们正在探索许多下一步可能出现的想法，潜在的新范式可能是什么。当然，在某些时候，我们会尝试在序列中做一个 GPT-5 模型，但不是很快。我们不知道到具体是底什么时候。Open AI 从一开始就在研究机器人，我们对此非常兴奋，也有过挣扎。我希望有一天我们能回头去做这个。
张宏江：听起来很好。你的演讲中你还提到 Open AI 是如何使模型更安全的。你特别提到了你们会用 GPT-4 来解释 GPT-2 的模型，请问这样的工作是可扩展的吗？你们会继续在这个方向上进行更多的努力吗？
7 q* b6 Y, i( E- Z5 _2 bSam：是的，我们会继续推动这个方向。
张宏江：那你认为这以后可以进一步扩大范围吗？我问这个问题，是因为我知道有许多生物科学家，他们关注人类的学习，他们会很乐意在自己的领域里借用这种方法，研究和探索人类神经元如何工作。
1 A6 A, w  X: o  uSam：解释人工智能的神经元会比解释生物中真实的神经元更容易。因此，我认为这种使用更强大的模型来帮助我们理解其他模型的方法适用于人工智能的神经网络，我认为这是可以成功的，但我不太清楚如何将其应用于人类大脑。
& R7 ~* V9 o5 z5 L/ e张宏江：非常感谢你，Sam，感谢你参与此次论坛。另外，我想感谢你，能够有那样的远见，创办了 Open AI 这样的 AI 公司，并且只并专注于一件事，获得了如此多的成功和突破。在结束之前，我想再问一个问题，你当时是如何想出成立 Open AI 这样的公司的？又是什么让你孜孜不倦地去推动它的发展？就比如像今天，你在非常努力地推动 AI 安全的发展，什么是你背后的驱动力？
Sam：我想象不到还有什么工作能够像推动 AGI 一样令人激动，极其重要，并能让我完成自我实现。而且我非常相信，如果你有一个对你个人非常重要的使命—— AGI 就是这样一个对我和我们的团队来说非常重要的使命——你会产生大量的精力，你会努力想出办法。
1 g: K* Y: S) r4 F& f3 s" _其实当我们刚刚创建 Open AI 的时候，我们当时认为成功概率是相当低的。但是如果我们能够弄清楚如何建立 AGI，那么它肯定会极具变革性。我们肯定需要确保 AI 的安全性，但 AGI 为社会带来的益处将是巨大的。我真的相信 AGI 将是人类社会迄今所建造的最具变革性的东西。