Related articles
伊利亚· 苏茨克维 （Ilya Sutskever），视频播客截图
11 月 26 日凌晨，OpenAI 联合创始人、超级智能公司 Safe Superintelligence 首席执行官伊利亚· 苏茨克维 （Ilya Sutskever），与知名播客主持人德瓦克什· 帕特尔 （Dwarkesh Patel） 展开深度对谈，分享了他对当前 AI 发展现状的看法，以及对未来通用人工智能 （AGI） 实现的预测。
苏茨克维认为，AGI 将在未来 5 到 20 年内实现，尽管当前 AI 技术在某些测试中表现出色，但其在实际应用中仍然面临许多挑战。他提到，AI 模型在评估任务中的表现常常与现实中的应用效果产生偏差，呈现出“ 锯齿状” 能力差距—— 模型在一些标准测试中得分较高，但在实际工作中却常犯低级错误。
这种能力差距的根源之一在于 AI 训练过程中的“ 预训练” 和“ 强化学习”。预训练过程中使用大量数据进行模型训练，但这些数据并未能有效帮助模型在实际应用中表现出应有的泛化能力。
苏茨克维指出，当前的训练方法虽然可以让 AI 在特定任务中表现出色，但它们过于依赖特定环境，缺乏应对新任务或复杂情境的能力。这使得 AI 成为“ 应试专家”，虽然在考试中表现优秀，但在面对不确定的现实问题时却表现得不够灵活和高效。
为了突破这一瓶颈，苏茨克维提出了一个有趣的观点——AI 模型可能需要类似于人类情感系统的“ 价值函数”，这种机制可以指导 AI 做出更加高效和鲁棒的决策。
他用人类的情感系统做类比，认为情感在帮助人类做出决策方面发挥着重要作用，而这一点在人类学习和智能发展的过程中至关重要。如果 AI 能够借鉴这种机制，理解并处理类似于人类情感的价值函数，那么它们可能会变得更聪明、更有能力应对复杂任务。
然而，随着 AI 技术逐渐接近规模化发展，苏茨克维指出，传统的“ 规模化时代” 可能已经走到了尽头。过去几年，AI 领域依赖海量的计算资源和数据来提升模型能力，但在数据和算力逐渐饱和的今天，AI 的能力提升已不再单纯依赖规模化。
他将 2012 年到 2020 年划定为科研时代，2020 年至 2025 年是规模扩张的时代，当规模效应无法解决当下问题的时候，AI 研究可能进入一个新的阶段，即回归科研时代。寻找新的学习方法和更加高效的计算资源使用模式。
在谈到 AGI 和超级智能的安全性时，苏茨克维强调，随着 AI 能力的不断提升，如何确保 AGI 在发展过程中与人类的价值观保持一致，成为了当前 AI 研究的核心问题之一。尽管 AGI 的出现将带来巨大的经济潜力和进步，但它同样伴随着潜在的风险，因此如何在开发过程中确保 AI 的对齐与安全性至关重要。
最后，苏茨克维认为，AI 将不再只是单纯的工具，而会逐渐发展为具有情感和同理心的智能体。为了让 AI 在未来的社会中更好地服务人类，AI 不仅需要具备强大的计算和学习能力，还应具备情感和道德判断的能力。这种情感和同理心的 AI 系统，比单纯的工具型 AI 更容易与人类社会融合，并为人类带来更多积极影响。
以下为苏茨克维与帕特尔的对话实录：
模型能力很“ 锯齿”考试满分，实战翻车？
帕特尔：我们应该从哪里开始讨论？
苏茨克维：你知道最令人难以置信的是什么吗？所有这些 AI 技术竟然都成为了现实。这一切难道不像直接从科幻小说里走出来的吗？
帕特尔：确实如此。另一个令人惊讶的现象是，AI 的渐进式发展感觉如此平常。想象一下我们将 GDP 的 1% 投入 AI 领域，这本来应该是个惊天动地的大事，但现在看来却显得理所当然。
苏茨克维：人类对事物的适应速度确实很快，而且 AI 发展目前还比较抽象，你只是在新闻上看到某公司宣布了巨额投资，但日常生活中还感受不到实质影响。
帕特尔：你认为这种情况会持续下去吗？
苏茨克维：我不这么认为。虽然现在 AI 领域的许多投资都令人难以理解，但 AI 终将渗透到经济各个领域，产生强大的经济推动力，其影响会变得越来越明显。
帕特尔：你预计 AI 的实际经济影响何时会显现？虽然现在的 AI 技术看起来非常强大，但它们在实际应用中创造的经济价值并没有那么大。
苏茨克维：确实如此。这是当前 AI 领域最令人困惑的现象之一。如何解释模型在评估测试中表现出色，但经济贡献却明显滞后？那些评估题目相当复杂，模型完成得很好，但实际应用效果却大打折扣。比如，模型在某些情况下会反复犯同样的错误，这实在令人费解。
让我举个具体例子：假设你用氛围编程 （vibe coding） 完成某项任务时遇到一个错误，然后让模型修复，它会遵从，但在修复过程中又引入了新错误。当你指出新错误后，它再次认错，却把原来的错误又带回来了。这种循环往复的情况时有发生，虽然具体原因尚不明确，但这表明系统确实存在某些异常。
我有两种可能的解释。一是也许强化学习训练让模型过于专注和狭隘，缺乏某种“ 意识”。正因为如此，它们做不好一些基本的事情。
另一种解释是，预训练使用了所有数据，而强化学习训练则需要选择特定的训练环境。设计这些环境时，变量过多，可能会导致无意中优化了某些评估目标，却忽视了实际应用中的需求。
这也可以解释为什么我们看到评估性能和实际效果之间的脱节，尤其是模型的泛化能力差。简单来说，模型在评估中的优异表现并不总能转化为实际应用中的成功，主要是由于训练环境和目标之间的偏差。
帕特尔：我喜欢你这个观点：真正的“ 奖励黑客” 其实是那些过于关注评估的人类研究员。
你提到的问题可以从两个角度来看。第一种是，如果模型仅在编程竞赛中表现优秀，这并不意味着它就能在其他任务中做出更好的判断或更有“ 品味” 的改进。因此，训练环境需要扩展，除了编程竞赛，还要评估模型在其他任务上的表现，比如 X、Y、Z 任务。
另一种角度是，为什么在编程竞赛中超强表现不一定能让模型成为一个更有品味的程序员？也许问题不在于增加训练环境的数量，而是如何让模型在一个环境中学习，并能将这些经验应用到其他任务中。
苏茨克维：我可以用一个关于人类的类比来说明。同样以编程竞赛为例：假设有两个学生，一个决心成为最好的竞技程序员，因此花一万小时练习，解决所有问题，记住所有技巧，熟练快速地实现所有算法，最终成为顶尖选手。另一个学生觉得竞技编程很酷，但只练习了一百小时，远远少于前者，却也表现得相当好。你认为谁在未来的职业生涯中会表现更好？
帕特尔：第二个学生。
苏茨克维：对。我认为模型的情况更接近第一个学生，甚至更极端。现在的模型就像“ 应试专家”。我们为了让它精通编程竞赛，就用海量题目进行填鸭式训练。结果它虽然成了答题高手，却依然难以将所学知识灵活应用到其他任务上。
帕特尔：但第二个学生在进行那一百小时的微调之前，其类比是什么？
苏茨克维：我认为他们具备“ 某种特质”。我读本科时遇到过这样的学生，我知道这种人的存在。
帕特尔：我觉得把“ 某种特质” 与预训练所做的事情区分开来很有意思。理解你刚才关于预训练不必选择数据的说法，一种方式是：它其实与一万小时的练习并非完全不同，只不过这一万小时练习是“ 免费” 获得的，因为它已经存在于预训练数据分布的某个地方了。但也许你在暗示，预训练带来的泛化其实并没有那么多。预训练中的数据量确实巨大，但它不一定比强化学习泛化得更好。
苏茨克维：预训练的主要优势有两点：第一，数据量巨大；第二，你不需要费心选择预训练该用什么数据。这些是非常自然的数据，包含了人类的各种行为、想法和特征。这就像是整个世界通过人类投射到文本上，而预训练试图用海量数据来捕捉这一切。
预训练很难推理，因为我们很难理解模型依赖预训练数据的具体方式。模型犯错，会不会是因为某些东西恰好没有得到预训练数据的足够支持？“ 得到预训练支持” 可能是一个比较宽松的说法，我不知道是否能补充更有用的内容。我认为预训练没有完美的人类类比。
价值函数：AI 的“ 情绪系统” 来了？
帕特尔：人们提出了几种关于人类与预训练的类比。我想知道你为什么认为它们可能不准确。其中一种是把人生前 15 年或 18 年看作预训练阶段，那时他们还不具备经济生产力，但正在学习以更好地理解世界。另一种是把进化看作进行了 30 亿年的某种搜索，最终产生了人类。我很好奇，你是否认为这两种情况中的任何一种与预训练类似？如果不是预训练，你如何看待人类终身学习的过程？
苏茨克维：我认为这两者与预训练都有一些相似之处，而预训练试图扮演这两者的角色，但也存在很大差异，毕竟预训练的数据量非常非常大。
但奇怪的是，一个人类即使在生活了 15 年后，也只是接触了预训练数据的一小部分，他们知道的东西少得多，但无论他们知道什么，他们理解得似乎都深刻得多。在那个年龄，你已经不会犯我们 AI 犯的那些错误了。
还有另一件事。你可能会说，是不是像进化之类的东西？答案也许是。但在这种情况下，我认为进化可能更具优势。我记得读过一些案例，神经科学家通过研究大脑不同部位受损的人来了解大脑功能。有些人会出现你能想象到的最奇怪的症状，这实际上非常有趣。
我想到一个相关案例。我读到过一个人的经历，他因为中风或事故导致脑损伤，破坏了情绪处理能力，于是他不再感受到任何情绪。他仍然善于言辞，能解决一些小难题，在测试中看起来完全正常。但他感觉不到情绪：不悲伤、不愤怒、没有活力。结果，他在做任何决定时都变得极其糟糕。决定穿哪双袜子要花他几个小时，还会做出非常糟糕的财务决策。
这说明了我们内在的情感在使我们成为可行的智能体方面扮演了重要角色。
帕特尔：“ 某种特质” 是什么？显然不直接是情感。它似乎是某种近乎价值函数的东西，告诉你任何决策的最终奖励应该是什么。你认为这会隐含地从预训练中产生吗？
苏茨克维：我认为有可能。我只是说这不是 100% 显而易见的。
帕特尔：但那到底是什么？你如何看待情感？情感的机器学习类比是什么？
苏茨克维：它应该是某种价值函数类的东西。但我不认为目前有一个很好的机器学习类比，因为价值函数在人们当前的工作中并不扮演非常突出的角色。
帕特尔：也许你可以为我们定义一下什么是价值函数。
苏茨克维：当然！在强化学习中，目前的典型做法是这样的：你有一个神经网络，给它一个问题，然后告诉模型：“ 去解决它。” 模型会进行数千、数万次的动作或思考步骤，最终得到一个解决方案。这个解决方案会被评估并打分。
这个分数随后会用来为模型的每一步行动提供训练信号。也就是说，如果模型需要花很长时间才能得到最终的解决方案，那么在此过程中，它根本不会学习到任何有用的信息，直到最后的答案出来。这种方式在强化学习中非常常见，也是像 OpenAI O1、DeepSeek R1 等模型大致采用的策略。
价值函数的概念类似于：“ 我可能并不总是能立刻告诉你做得好还是不好，但有时可以提前提醒。” 这个概念在一些领域尤其有用。比如，下棋时，如果你丢了一个棋子，你立刻就知道自己犯了个错误。你不需要等到整场棋局结束才能知道哪一步是错的，这意味着你可以意识到之前的某些决定也是不好的。这种反馈可以帮助你更快地调整策略，提高效率。
价值函数可以帮助你加快找到最终结果的过程。假设你在解数学题或编程题时，正在尝试某个解决方案或方向。比如，在思考了一千步之后，你意识到这个方向没有希望。这个时候，你就可以提前获得一个反馈信号，告诉你这条路不行，而不是等到一千步后才知道。你可以总结说：“ 下次遇到类似情况时，我不应该再走这条路。” 这样，实际上你在得到最终解答之前，就已经调整了策略。
帕特尔：在 DeepSeek R1 的论文中提到，轨迹空间如此之广，导致很难直接从中间的步骤推断最终的结果。而且，像在编程中，你可能会先走错路，然后再回过头去修改。
苏茨克维：这听起来像是对深度学习的信心不足。确实，做起来有难度，但我相信深度学习能够解决这个问题。我预计价值函数会非常有用，虽然目前还没有完全做到，但将来肯定会用到。我提到那个情绪中枢受损的人，主要是想说明，也许这表明人类的价值函数是通过情绪来调节的，且这种调节是进化过程中硬编码的。也许这种机制对我们有效行动至关重要。
帕特尔：这正是我想问你的问题。关于价值函数和情绪的关系，有一个很有趣的地方：情绪虽然在很多情况下非常有用，但它们也相对容易理解，这真的很令人印象深刻。
苏茨克维：我有两个回应。首先，我同意，跟我们正在研究的 AI 系统相比，情绪是相对简单的，以至于我们能够用人类能理解的方式来解释它们。我觉得能做到这一点会很有意思。
关于效用，我认为复杂性和鲁棒性之间有一个权衡。复杂的东西可能很有用，但简单的东西也可以在很多情况下发挥作用。我们现在看到的情绪，主要是从我们的哺乳动物祖先那里进化过来的，然后在我们成为早期人类时稍微调整了一下。我们确实有一些社会性情绪，而这些情绪在哺乳动物中可能没有。但它们并不复杂，正因为如此，它们即使在今天这个和我们祖先生活的环境完全不同的世界里，仍然能很好地为我们服务。
当然，情绪也会出错。比如，我不确定，饥饿算不算一种情绪？这个问题有点争议。但我认为，比如我们对饥饿的直觉感觉，在今天这个食物丰富的世界里，可能并不能很准确地指导我们该如何行动。
规模化已死，研究时代重生
帕特尔：人们总是在谈论规模化数据、规模化参数、规模化计算。那么，有没有一种更广泛的方式来思考“ 规模化” 这个概念？除了这些，我们还能在哪些方面进行规模化？
苏茨克维：我有一个可能正确的视角。过去，机器学习的工作方式是，人们只是胡乱尝试，尽力找出有趣的结果。那时候的做法就是这么简单。
然后，“ 规模化” 的概念出现了。随着像 GPT-3 这样的突破，突然每个人都意识到，应该开始“ 规模化”。“ 规模化” 这个词本身很有力量，它告诉人们应该做什么。于是，人们开始说：“ 我们要尝试规模化。” 那么，你问我们在规模化什么？答案是—— 预训练。在那个阶段，预训练成为了需要规模化的目标，它是一种特定的“ 规模化配方”。
预训练的突破在于，我们认识到这个配方是有效的。你可以把一些计算、一些数据和一个适当大小的神经网络混合在一起，最终得到结果。更妙的是，如果你按比例放大这个配方，你会得到更好的效果。这个发现非常有价值，特别是对于公司来说，因为它提供了一种低风险的方式来分配资源。
与此相比，把资源投入到研究中要困难得多。如果你做研究，你得告诉研究人员：“ 去做点研究，拿出点成果来。” 但另一方面，通过获取更多的数据、更多的计算资源，你知道从预训练中肯定会有所收获。
当然，也有一些人讨论 Gemini 等技术，似乎已经找到了一种方法，能从预训练中获取更多的价值。但问题是，数据始终是有限的。到了某个阶段，预训练会耗尽数据。那时候，你该怎么办？可能的选择是，进行某种“ 强化版” 的预训练—— 一种不同于之前的配方，或者转向强化学习，甚至尝试其他方法。但无论如何，现在计算资源的规模已经非常庞大，从某种意义上来说，我们又回到了研究时代。
也许可以这样理解：从 2012 年到 2020 年，那是“ 研究时代”。然后从 2020 年到 2025 年，是“ 规模化时代”。人们看到了预训练的巨大成功，然后说：“ 这太神奇了，我们必须更多规模化，继续扩大规模。”
但现在，我们已经把规模做得很大。问题变成了：“ 规模这么大，如果你再加 100 倍，结果会完全不同吗？” 肯定会不同，但我认为人们并没有真正相信只要把规模扩大 100 倍，一切就会发生巨大变化。所以我们又回到了“ 研究时代”，只是我们拥有了更强大的计算资源。
帕特尔：这是一种非常有趣的表述方式。但我想问问你刚才提到的那个问题：“ 我们在规模化什么？” 拥有一个“ 配方” 到底意味着什么？我不确定是否存在像物理定律那样清晰的关系，就像预训练中的数据、计算和参数与损失之间是否存在某种幂律关系。我们应该寻找什么样的关系？
苏茨克维：我们已经见证了规模化的转变，从预训练到强化学习。现在，强化学习正在成为新的“ 规模化” 目标。有些人现在在强化学习上的计算投入，可能已经超过了预训练的投入，因为强化学习本身非常消耗计算资源。你得进行长时间的推演，生成这些推演需要大量的计算力，而每次推演带来的学习效果其实是有限的。所以，强化学习是可以消耗大量计算资源的。
但我甚至不愿称之为“ 规模化”。我会问：“ 你现在在做的事情，真的是你能做的最有效率的事情吗？你能不能找到一种更高效的方法来利用计算资源？” 我们之前讨论过价值函数的问题。也许一旦人们真正掌握了价值函数，他们就能更高效地使用计算资源。如果你能找到一种新的训练方法，也许你会问：“ 这算不算规模化，还是说只是更好地利用了资源？” 我觉得，这个界限有点模糊了。
从这个意义上说，当人们处于研究时代时，那时的状态就是进行各种尝试，然后你会发现一些有趣的东西。我认为，最终我们可能会回到那种探索的状态。研究本身的探索性是不可或缺的，尤其在我们还没有找到“ 完美” 答案时。
帕特尔：如果我们真的回到了研究时代，退一步来看，我们需要重新思考的“ 配方” 是什么？你提到过价值函数，确实人们已经在尝试当前的配方了，但随着像 LLM-as-a-Judge 之类的新方法出现，你可以说那也是一种价值函数。可是你似乎心里有一个更根本的东西。那么，是否意味着我们应该重新思考预训练的方式，而不是仅仅在这个过程中添加更多步骤？
苏茨克维：我认为价值函数是使强化学习更高效的关键，这是一个很重要的观点。但我也认为，任何你能用价值函数做的事，如果没有它，你也能做，只是会更慢。事实上，我觉得最根本的问题是，这些模型在泛化能力上总是比人类差得多。这是一个非常显著的差异，也是一个根本性的问题。
泛化之谜：为什么 AI 学得又慢又笨？
帕特尔：所以，关键问题是泛化。这里有两个更具体的问题。第一个是关于样本效率的：为什么这些模型需要这么多数据来学习，而人类则不需要？第二个问题是，即使我们不考虑数据量，为什么教机器学习我们想要的东西要比教人类更难？当我们教人类时，不一定需要非常精确的奖励反馈来指导他们，就像你现在指导研究人员一样，你和他们分享你的代码和思路，他们从中学习到了如何思考和做研究。你不需要为他们设定一个“ 可验证的奖励”。所以，这两个问题似乎是相关的，尽管它们的侧重点不同。我非常想探讨第二个问题。
苏茨克维：人类的样本效率可能与进化有关。进化为我们提供了少量最为重要的信息，特别是在视觉、听觉和运动等方面。我们的感知能力十分强大，这可能是由于我们的祖先在复杂环境中需要这些能力以生存。例如，我们的运动能力相比机器更为灵活高效。如果让机器人在模拟中训练，它可能能够学到一些灵活性，但要让它像人类一样在现实世界中快速掌握新技能，却依然困难重重。这些能力或许是进化过程中赋予我们的“ 先验知识”，尤其是在运动方面。
类似地，视觉能力也是一个例子。杨立昆曾提到，孩子们通常在短短十小时的练习后就能学会开车，证明我们对视觉信息的处理能力极强。尽管孩子接触到的数据非常有限，他们依然能够高效地学习。回想我的童年，我对汽车的兴趣极大，五岁时我对汽车的识别能力已足够应对一些实际场景。尽管五岁时我接触的数据量不多，但这一能力可以从进化角度理解。进化让我们能够快速获取和理解重要信息。然而，语言、数学和编程等领域可能不同。进化可能没有直接赋予我们这些领域的“ 先验知识”，而是更多依赖于后天的学习与适应。
帕特尔：这依然比模型有效。显然，模型在语言、数学和编程等领域超越了普通人。但在学习效率方面，它们是否真的比人类强？
苏茨克维：是的，绝对如此。语言、数学和编程，尤其是数学和编程，表明人类的学习优势并不来源于复杂的先验知识，而是某种更为基础的机制，可能类似于更高效的机器学习算法。我们的“ 大脑” 本质上是一个高效的学习系统，能够在有限的数据和经验下迅速掌握复杂任务。
帕特尔：我不太理解为什么会这样。
苏茨克维：考虑到人类展示出某些高效且可靠的技能，尤其是这些技能对我们祖先几百万年甚至数亿年的生存至关重要，可能有人会认为人类之所以擅长这些技能，是因为进化赋予了我们某种“ 先验知识”，这种知识深深嵌入我们的脑中，使得我们能在这些方面表现得更好。这可以看作是进化先验的作用。
然而，如果人类在某些只有近期才出现的领域中表现出强大的能力、可靠性和学习能力，那么这更可能表明，人类并没有依赖于复杂的先验知识，而是具备了一种更有效的学习机制，类似于机器学习算法中的优势。
帕特尔：这对于我们如何理解这些能力提供了有趣的视角。你提到的几个特点，确实很值得关注。例如，它们需要的样本量较少，学习方式更类似于无监督学习。孩子学习开车时，并不是通过获得可验证的奖励来学习，而是通过与环境的互动来掌握技能。与模型训练相比，孩子学习所需的数据样本要少得多，且学习过程似乎更为无监督、更具灵活性，也更具鲁棒性。
苏茨克维：人类的鲁棒性确实非常惊人。这种适应性不仅体现在学习新技能上，也在面对不确定性和复杂环境时表现得尤为突出。
帕特尔：那么，你有没有一个统一的思考方式，来解释为什么这些能力会同时出现在人类身上？能否找到一个机器学习的类比，来实现这些特性？
苏茨克维：你一直在问的一个问题是，为什么像青少年驾驶者这样的人，在没有外部教师的情况下，也能自我纠正并从经验中学习？答案是，他们拥有自己的价值函数。这种内在的价值感知在人类中非常强大。除了成瘾等少数极端情况，人类的价值函数实际上都非常可靠。对于像学开车的青少年来说，他们一开始开车就能感知自己开得怎么样，是否自信，是否驾驶得好或坏。他们通过这些内在的反馈很快开始调整自己的行为，通常在十小时后就能独立上路。
帕特尔：看起来人类似乎拥有某种解决方案，这让人好奇他们是如何做到的。我们该如何重新思考训练模型的方式，才能让它们也能具备这种能力呢？
苏茨克维：这是一个非常好的问题，我对此有很多看法。但遗憾的是，我们生活在一个，并非所有机器学习的想法都能自由讨论的世界，这就是其中之一。我相信是有方法可以做到的。毕竟，人类已经做到了，这本身就是一个强有力的证据。
当然，可能还有另一个障碍，那就是我们对人类神经元进行的计算的理解或许还不够深入。假如这些神经元进行的计算比我们想象的要复杂，那么问题可能会变得更加困难。但无论如何，我相信它指向了某种潜在的机器学习原理，我对这个原理有一些看法，但由于环境的限制，我无法详细讨论。
SSI 野心：直通超级智能，不走寻常路
帕特尔：我很好奇。如果我们现在回到“ 研究时代”，你曾经经历过 2012 到 2020 年的那个阶段，那么现在的研究氛围会是怎样的呢？尽管在 AlexNet 之后，实验所需的计算量逐渐增加，前沿系统的规模也在不断扩大。你认为，现在的研究阶段是否依然需要庞大的计算资源？我们是否需要回去重新阅读旧的论文和思考方式？你曾在谷歌、OpenAI 和斯坦福等地待过，那个时候的研究氛围如何？现在我们作为社区，应该期待什么样的变化？
苏茨克维：规模化时代的一个后果就是，规模化“ 吸走了房间里的所有氧气”。当所有的资源都集中在规模化上时，每个人开始做相同的事情。我们达到了一个阶段，世界上的公司数量远远超过了新的想法和创新的数量。硅谷有句谚语说“ 想法便宜，执行才是关键”，这句话有一定道理。但最近我看到有人说，“ 如果想法那么便宜，为什么没人能提出新的想法呢？” 这也是对的。
从瓶颈的角度来看，研究的进展有几个关键瓶颈。一个是创新的想法，另一个则是将这些想法实现的能力，这通常取决于计算资源和工程技术。如果你回到 20 世纪 90 年代，尽管有一些非常有潜力的想法，但因为计算资源不足，这些想法无法得到验证。那时候的瓶颈是计算，许多好点子只能停留在小范围的实验中，无法产生广泛的影响。
而在规模化时代，计算量确实大幅增加。一个问题是，虽然我们需要很多计算，但是否一定需要世界上最大量的计算量来证明某个想法呢？我给你一个类比。AlexNet 最初是在两个 GPU 上构建的，相比之下，Transformer 则是在 8 到 64 个 GPU 上进行训练。值得注意的是，2017 年所有关于 Transformer 的论文实验，从未超过 64 个 GPU，这相当于今天的 2 个 GPU。因此，即便是像 ResNet 这样的系统，也并没有那么多计算量。你可以说，像 OpenAI o1 那样的推理计算量，未必是世界上最大的。
所以，尽管研究需要计算资源，但远不意味着你需要拥有历史上最大量的计算来进行研究。的确，如果你想打造最好的系统，更多的计算肯定会有所帮助，尤其是当大家都在同一范式下工作时，计算资源就成为了关键的区分因素。
帕特尔：如果你在 SSI 有 50 个不同的想法，但没有其他顶级实验室那样的计算资源，你如何知道哪些想法有潜力成为下一个 Transformer，哪些又是不可行的？
苏茨克维：简而言之，SSI 在研究计算资源上的投入并不少。我想通过简单的数学解释，为什么我们所拥有的计算资源对研究的影响其实比人们想象的更大。
首先，SSI 已经筹集了 30 亿美元，从绝对的资金量来看，这无疑是一大笔钱。然而，值得注意的是，其他一些公司虽然筹集了更多的资金，但他们的计算资源大部分用于推理任务。而这些大额资金，其实是专门投入到推理计算中的。第二，如果你要开发一个产品并用它进行推理，你就需要一个庞大的团队，涵盖工程师、销售人员等。如此一来，真正用于研究的资源就会大大缩水。因此，和其他公司相比，实际留给研究的计算资源并没有那么大的差距。
还有一件事是，如果你做的是一些与众不同的研究，你真的需要绝对最大规模的计算来证明它吗？我完全不这么认为。我们已经拥有足够的计算资源，能够证明我们的研究方向是正确的，足以让我们自己和其他人相信。
帕特尔：有公开的估算指出，像 OpenAI 这样的公司每年在实验上的开支大约为 50 到 60 亿美元。这与他们用于推理等方面的资金是分开的。所以看起来，他们用于研究实验的年度开支，可能比你们的总资金还要多。
苏茨克维：我认为这取决于你如何利用这些资源。每个公司使用资源的方式不同。以 OpenAI 为例，他们的计算需求在训练方面远远高于我们的。更何况，他们的工作流更加多样化，涵盖了多个模态，涉及的任务更多，资源的分配也更为分散。因此，这些资源的使用方式与我们有所不同。
帕特尔：SSI 将如何赚钱？
苏茨克维：我对这个问题的回答是，目前我们只专注于研究，答案会在未来显现。我认为有很多可能的答案。
帕特尔：SSI 的计划仍然是直通超级智能吗？
苏茨克维：也许。我认为这有它的优点。一个好处是，完全不受日常市场竞争的影响，这是非常有利的。但我认为有两个原因可能会导致我们改变计划。第一个是务实的，如果实现的时间表很长，可能会调整。第二个是，我认为强大的 AI 在全球范围内发挥作用并影响世界，这本身是非常有价值的。能参与其中，我认为这是一件有意义的事。
帕特尔：那么，为什么你们的默认计划是直通超级智能？听起来 OpenAI、Anthropic 和其他公司，他们的策略是“ 我们将逐步推出越来越弱的智能体，让公众逐渐适应并为之做准备。” 为什么直接构建超级智能体可能会更好？
苏茨克维：让我分析一下支持和反对的理由。支持的理由是，市场上的竞争非常激烈，进入这个竞争环境非常艰难，因为它需要在很多方面做出权衡。如果你能说“ 我们将与所有这些隔离开来，只专注于研究，直到我们完全准备好才推出”，这是一个很好的策略。但反对的理由同样有效：让世界看到强大的人工智能是有价值的。让人们看到强大的 AI 在实际应用中的作用，这是唯一能够有效传播 AI 的方式。
帕特尔：你所说的“ 传播 AI” 是什么意思？
苏茨克维：假设你写了一篇关于 AI 的文章，内容讲述“AI 会变成这样，AI 会做那样”。你看了以后觉得：“ 这篇文章很有趣。” 但是如果你亲眼看到 AI 正在做这些事情，那感觉就完全不同了。对我来说，AI 的公开存在是至关重要的，这是我们可能不会完全采取直通方案的一个原因。
SSI 的模型将从部署中学习
帕特尔：我想这不仅仅是这样，但我确实认为这是其中一个关键因素。另一点是，我想不出人类工程和研究中的其他领域，最终产品的安全性是通过思考如何使其安全来实现的，而不是通过实际的部署。为什么今天的飞机坠毁率比几十年前低这么多？为什么在 Linux 中找漏洞比几十年前难得多？我认为最主要的原因是，这些系统已经被部署到世界各地。我们注意到故障，并且修复了它们，系统因此变得更强大。
我不确定 AGI 和超人类智能为什么会有所不同，尤其是考虑到超级智能的危害不仅仅是关于某个恶意的回形针优化器。它是一个非常强大的系统，我们甚至不知道如何与它互动，人们会用它做什么。逐步接触它似乎是分散其影响，并帮助人们为它做好准备的更好方式。
苏茨克维：关于这一点，我认为即便是直通方案中，你也会逐步发布它，这样的渐进性是任何计划的核心部分。问题是，你要搞清楚首先发布的是什么，这是第一点。
第二，我相信你比大多数人更推崇持续学习，这实际上是非常重要且正确的。我给你一个关于语言如何影响思维的例子。在这里，有两个词深刻影响了每个人的思维，我坚持这一点。第一个词是：AGI。第二个词是：预训练。让我解释一下。
术语“AGI” 为什么会出现？这是一个特殊的术语，但它的存在并不是因为它精准地描述了某种智能的最终形态，而更多是对另一个旧概念的回应——“ 狭义 AI”。回到早期的游戏 AI 时代，如跳棋 AI、国际象棋 AI、电子游戏 AI，人们常说：这些系统虽然能击败卡斯帕罗夫，但只能下棋，做不了别的事，因此被称为“ 狭义 AI”。作为反对，一些人提出：“ 我们需要一种能做所有事情的通用人工智能”，AGI 一词因此流行起来。
另一个深刻影响行业的是“ 预训练” 概念，尤其是预训练的标准流程。在这一范式下，你只要做更多预训练，模型几乎在所有能力上都会均匀提升，于是预训练被认为是通往 AGI 的路径。
但不论是 AGI，还是预训练，它们都偏离了真正关键的目标。如果你以“ 预训练” 视角去思考 AGI，会发现人类其实并不是 AGI。我们确实拥有一套基本技能，但却缺乏庞大的先验知识；我们真正依赖的是“ 持续学习”。因此，假设未来我们成功创造了一个安全的超级智能，关键问题是：我们该如何定义它？它在持续学习曲线的哪个阶段？
你可能培养出一个“ 超级智能的 15 岁少年”：非常聪明、学习迅速、动力强，但并没有掌握太多知识。之后，它会像一个优秀学生一样，成为程序员、成为医生，在真实环境中继续学习与试错。可以想象，部署本身就会成为学习过程，而不是简单推出一个“ 完整成品”。
帕特尔：我明白了。你提到的关于超级智能的观点，并不是指一个“ 完成的” 心智，能够做经济中的每一项工作。比如，最初的 OpenAI 章程或其他文献中的 AGI 定义是，它能做所有人类能做的事。你提出的替代方案是，一个能够学会做所有事情的心智，这才是超级智能。换句话说，一旦你拥有这样的学习算法，它就像人类进入一个组织一样，开始在现实世界中运作。
看起来，这两种情况中可能发生其中一种，也许两者都不会发生。第一种情况是，这种超高效的学习算法变得超越人类，甚至在机器学习研究任务上超越我们，变得越来越智能。第二种情况是，即便没有发生递归自我改进，如果你有一个单一的模型，它通过广泛部署，在不同的工作领域持续学习，并掌握所有人类可以掌握的技能，然后合并这些技能，那么这个模型在功能上也会变得超级智能。即使没有自我增强，它依然能做经济中的每一项工作，并将知识整合在一起，成为一个超越人类的智能体。你期望这种广泛部署会引发某种智能爆炸吗？
苏茨克维：我认为我们很可能会经历快速的经济增长。一旦我们达到了某个关键点，拥有一个能够快速学习的 AI，并且有大量这样的 AI，除非有法规限制，否则将会有强大的动力将它们广泛部署到经济中。顺便提一下，确实可能会有一些法规来限制这一进程。
从广泛部署的角度来看，我认为快速经济增长是非常可能的。问题是，这个过程会有多快。因为一方面，你拥有这种极其高效的 AI，另一方面，世界很大，有很多变化的因素。而且这些因素变化的速度各不相同。尽管如此，AI 的潜力是显而易见的，所以我认为快速的经济增长确实是可能的。我们将看到不同国家采取不同的规则，友好政策的国家将会看到更快的经济增长。这些都很难预测。
对齐新目标：让 AI“ 关心有情生命”
帕特尔：从我的角度来看，这种情况似乎非常不稳定。在极限情况下，似乎这种超级智能是可能的。如果你拥有一个在学习上和人类一样优秀的系统，但它能够像人类无法做到的那样，合并不同实例的大脑，这听起来就像是可以实现的物理过程。人类可以做到，数字计算机也可以做到。只需要把这两者结合起来，就能创造出超级智能。
这种智能似乎是非常强大的，经济增长是其中的一种描述方式。就像戴森球代表了巨大的经济增长一样。但另一种描述方式是，你会在非常短的时间内看到巨大的变化。如果你在 SSI 工作，大概六个月后他们就能带来实质性的生产力提升。一个人学得非常快，而 AI 的进化也同样飞速。你如何看待这个过程？为什么 SSI 有能力做到这一点？你们在这方面有什么计划？
苏茨克维：我现在的思维方式发生了一些变化。我现在更注重 AI 的增量式进展和提前部署。关于 AI，有一件非常困难的事情是，我们谈论的是尚不存在的系统，很难想象它们的实际样貌。
事实上，AGI 现在是一个很难想象的概念。我们可以讨论它，但很难真正感受到 AGI 的存在。想象一下，谈论年老体衰的感觉，虽然你可以说很多，但直到你亲自经历时才真正理解。这就是 AGI 的问题，它很难想象，尽管我们可以讨论它，但它离我们还很远。我认为围绕 AGI 及其潜力的许多疑问，归根结底都源于它的强大。问题的核心就是它的力量。
当力量变得非常强大时，会发生什么？过去一年，我在这个问题上的想法发生了变化。这种变化可能会影响我们公司未来的计划。我的保守看法是，如果很难想象某件事，那该怎么办呢？你必须展示它。我坚信，大多数从事 AI 工作的人都难以真正想象 AGI，因为它与我们日常见到的东西相差太远。
我预计，随着 AI 变得越来越强大，人们会开始改变他们的行为，出现许多前所未有的事情。一些变化已经开始显现，我举几个例子。首先，无论是好是坏，前沿 AI 公司和政府将在接下来扮演重要角色。你会看到一些激烈的竞争对手开始合作，进行 AI 安全研究。比如 OpenAI 和 Anthropic 就已经开始了这方面的合作，而这种合作三年前几乎是难以想象的。
随着 AI 越来越强大，更明显的威胁也将浮现，政府和公众可能会产生一种“ 必须采取行动” 的需求。这是一个强大的动力，推动我们展示 AI 的进展。这是第一点，AI 将变得越来越强大，需要我们去展示它的潜力和影响。
第二点，现在 AI 看起来还不够强大，但我预测，某一天它会变得足够强大，这将迫使 AI 公司改变它们处理安全问题的方式。我认为，我们将看到所有 AI 公司变得更加警觉和小心。现如今，我们看到的种种问题，主要是因为人们难以想象未来 AI 的真正样貌。当 AI 变得更强大时，安全和对齐问题会变得更加紧迫。
第三，从更广泛的角度来看，问题是公司应该构建什么？目前，很多人都关注“ 自我改进的 AI”，这个想法似乎主导了大多数公司的方向。但我认为，我们可以做得更好，应该构建更具长期价值的东西。我坚信，我们应该专注于构建一种“ 关心有情生命的 AI”，因为 AI 本身将会是有情感的生物。
你可以从镜像神经元、同理心等现象中找到解释，人类对动物的同情心并非完全无缘无故，而是我们通过相似的感知机制去理解他人。我认为，这种情感的模型将自然而然地涌现，成为 AI 本身的一部分。这种具有情感和同理心的 AI 比仅仅关心人类的 AI 更为稳健，更容易实现。
帕特尔：所以，即使你让 AI 关心所有有情生命，我不确定解决对齐问题后这是否真的是我们该做的事，大多数有情生命依然会是 AI。将来，可能会有数万亿、甚至数千万亿的 AI，而人类将只占其中非常小的一部分。所以，如果目标是让人类能够控制未来的文明，这样的标准是否合适呢？
苏茨克维：确实，可能这并不是最好的标准。我有两点想说。第一，关心有情生命是一个值得考虑的方向，尤其在公司处于这种情况时，能够有一个简明的标准来参考，会很有帮助。 第二，如果超级智能的力量能够以某种方式被限制，我认为这会非常有帮助，因为这能解决很多潜在的担忧。如何限制这种力量，我不太确定，但我相信在面对极其强大的系统时，这种限制将非常重要。
帕特尔：在我们深入讨论对齐之前，我想再探讨一下这个问题。超级智能的规模有多大？你如何看待超级智能？从学习效率的角度来看，超级智能是否只是学习新技能和新知识的速度极快？还是它具有更大的策略池？超级智能是否有一个单一的、统一的“ 核心”，使得它比其他系统更强大？它是否像神一样强大，还是只是一个智能体或智能体集群？
苏茨克维：这是一个因人而异的问题。我认为超级智能会非常强大，这毫无疑问。最可能的情况是，多个超级智能将在差不多的时间内被创造出来。如果这些 AI 系统足够强大，且集群规模够大，那它们的力量就会非常可怕。 如果我们谈论的是极其强大的 AI，我认为，如果能对其施加某种限制，或者建立某种协议或约定，那将会是非常好的。
一种可能的担忧是，如果这个系统足够强大，我们可能需要非常专注地关心有情生命，因为我们可能并不喜欢这个系统的结果。换句话说，如果我们不能控制超级智能的行为，它可能会做出我们无法预测或无法接受的决定。
我想指出两件事。首先，我认为人类本身是一个半强化学习的智能体。我们追求奖励，但当这种奖励变得乏味时，我们会去追求另一个奖励。市场经济就是这种短视的智能体。进化也有类似的特点，它在某些方面很聪明，但在其他方面又显得非常愚蠢。政府设计成三权分立的形式，产生了不断的争斗，也导致了某些效果。所有这些都类似于智能体的构建方式。
使这个讨论变得更加复杂的另一件事是，我们谈论的是尚不存在的系统，且我们不知道如何构建它们。这就是我所相信的一个观点：目前的研究会走一段路，但最终会逐渐消失。尽管如此，它们会继续改进，但也不会变成“ 那个东西”。我们还没有完全理解“ 那个东西” 是什么，很多事情都取决于对可靠泛化的理解。
我再补充一点：关于对齐问题，可能有一个原因是我们学习人类价值观的能力本身就是脆弱的。而且我们优化这些价值观的能力也是脆弱的。事实上，我们并不总能学会如何有效地优化它们。你不觉得这也是一个“ 不可靠泛化” 的例子吗？人类为什么能更好地泛化？这可能是因为我们在人类价值观的理解和学习中具有更强的泛化能力。
帕特尔：人们是如何想象 AI 顺利发展的？你已经提到 AI 可能会发展成持续学习的智能体，变得非常强大，也许还会有很多不同的 AI。你怎么看待这些计算智能四处活动？这种情况有多危险？我们该如何减少它的危险性？如何在可能存在未对齐的 AI 和恶意行为者的环境下，找到一种平衡，确保安全？
苏茨克维：这就是我喜欢“ 关心有情生命的 AI” 这一概念的原因之一。我们可以辩论它是好还是坏，但如果前几个超级智能体真的能关心人类或类似的有情生命，这无疑会是一个非常积极的开始。当然，要实现这一点存在诸多挑战。但如果是由最初的几个系统来实现这一目标，我可以想象它会在相当长一段时间内平稳发展。
问题是长期会如何演变。如何保持长期的均衡？这的确是一个问题，虽然我并不喜欢这个答案，但我们必须考虑这个因素。
从长远来看，你可能会说，“ 如果有一个强大的 AI 世界，短期来看，你会看到普遍高收入、大家都生活得很好。” 但就像佛教徒说的：“ 变化是唯一的不变。” 所有事物都会变化。有一种政府或政治结构的东西，它的运作会随着时间的推移而变化，因为这些结构总会有保质期。某个新的政府或体系会出现，它会运行一段时间，之后它的效用会消失，这种情况是我们历史上反复发生的。
所以，我认为，对于长期均衡，可能的方式之一是，每个人都有一个 AI 来执行他们的命令，这样似乎很理想。但问题是，这样的模式存在缺点：AI 会为人类赚钱，为其政治需求辩护，甚至可能会写报告。然后人类听后可能会说：“ 好吧，继续。” 但是，这时的人类就不再是一个活跃的参与者了。这样一个局面，很可能是不稳定的。
我并不喜欢这个解决方案，但它确实是一种解决方案。它是这样的：如果人类通过某种方式，比如一个改进版的 Neuralink，成为半 AI 生物。那么，问题就变得不同了。因为 AI 已经理解了某些东西，而我们也能够理解它，因为理解是完全同步的。这意味着，假如 AI 处于某种情况，你也完全参与其中。我认为，这可能是实现均衡的答案。
帕特尔：我想知道，在完全不同的环境中发展了数百万年 （有时甚至是数十亿年） 的情感是否可以视作对齐成功的一个例子。
我解释一下我的意思，我不确定是不是应该称之为价值函数或者奖励函数，但脑干有一个指令，它说：“ 与更成功的人繁衍。” 而大脑皮层则是理解现代社会中成功意味着什么的部分。但脑干能够对齐大脑皮层，并说：“ 无论如何定义成功，你仍然应该追随这个指令。”
苏茨克维：我认为这个问题可以从更普遍的角度来看。进化如何编码这些高级欲望，其实是相当神秘的。比如，我们很容易理解为什么进化让我们有追求美味食物的欲望，因为气味代表着化学物质，所以我们追求那些气味就行了，这个解释比较简单。
但进化赋予我们这些社会欲望的方式就不那么容易理解了。我们非常关心自己的社会地位，我们在意是否被社会认可，关心是否拥有良好的声誉。我们所有的这些社会直觉，我强烈感觉它们是与生俱来的。我不知道进化是如何在大脑中表征这些复杂的社会情感的，毕竟它们是一种高级概念。
假设你关心的是某种社会性事物，它并不是像气味那样的低级信号，也不是有传感器能够直接感知的东西。大脑需要对大量信息进行处理，拼凑出一个关于社会层面正在发生什么的理解。进化会告诉我们：“ 那是你应该关心的。” 它是如何做到的？
更奇怪的是，它做得非常迅速。我们关心的这些复杂的社会性事务，其实是在进化过程中相对近期才出现的。进化很容易就硬编码了这些高级欲望，而我不太知道该用什么样的假设来解释进化是如何做到这一点的。我有一些想法在酝酿，但都不太令人满意。
帕特尔：特别令人印象深刻的是，这是你一生中学到的欲望。这是合理的，因为你的大脑是智能的，能够理解这些欲望的形成也显得合乎逻辑。也许这不是你的观点，但有一种方式理解它：欲望是基因组中的一种构建，而基因组本身并不具备智能。然而，你能够以某种方式描述并将这个特征构建到基因里。
苏茨克维：本质上，或者我可以换一种说法。如果你考虑基因组的工具，它会说：“ 好吧，这里有一个构建大脑的配方。” 你可以说：“ 这里有一个配方，用来将多巴胺神经元连接到气味传感器。” 如果气味是某种好闻的气味，你就会去追逐它。
我能理解基因组是如何做到这一点的，但要理解基因组是如何“ 硬编码” 某种行为，比如你应该关心你整个大脑中非常复杂的计算，这就很难想象。我有一个推测：大脑有不同的脑区。我们的皮层是均匀的，但脑区和皮层中的神经元大多只和周围的邻居进行交流。这就解释了为什么我们有不同的脑区，因为如果你想处理某种特定的信息，所有涉及语言的神经元都需要互相联系。由于神经元只能和邻近的神经元通信，所以这些神经元必须集中在某个特定的区域。
这些区域在不同人类之间通常位于相似的位置。所以，或许进化硬编码了大脑中某个特定位置的功能。进化可能会说：“ 当大脑在某个特定位置激活时，那就是你应该关心的事物。” 这可能是进化的方式，因为它在进化的“ 工具包” 里是可行的。
帕特尔：尽管有些例子表明，比如天生失明的人，他们的皮层中的那个视觉区域会被其他感觉功能所占据。我不确定，如果某些需要视觉信号的欲望或奖励功能受到限制，那么皮层中不同区域的功能就会改变，这让我感到疑惑。例如，如果你失去视力，你还能感知到“ 我希望周围的人喜欢我” 这种感觉吗？这通常是有视觉线索的。
苏茨克维：我完全同意你的看法。事实上，我认为对于这个理论有一个更有力的反驳。比如，有些人在童年时期被切除了半个大脑，但他们的所有功能依然转移到剩下的半球。这表明脑区的功能位置并不是固定的，所以那个关于“ 进化硬编码脑区位置” 的理论可能并不成立。
如果它是真的，那当然很有趣，但事实并非如此。所以，我认为这是一个谜，且是一个有趣的谜。事实上，进化能够非常可靠地赋予我们关心社会性事物的能力，这是一个谜。即使是那些有各种精神问题或情感问题的人，他们也通常会关心这些社会性事物。
倒计时开始：AGI 将在 5 到 20 年降临
帕特尔：SSI 计划做哪些不同的事情？按理说，你的目标是在关键时刻到来时成为前沿公司之一。你创办 SSI，大概是因为你认为：“ 我有一种能够安全实现这一切的方法，而其他公司没有。” 那么，这种区别是什么？
苏茨克维：我的理由很简单：我认为有一些值得期待的想法，我希望能系统地研究它们，看看它们是否真的可行。这是一项尝试。如果这些想法—— 尤其是我们之前讨论过的、与理解泛化相关的那些—— 最终被证明是正确的，那么我们将获得非常有价值的成果。
它们会成功吗？这需要通过研究来验证。我们目前完全处于“ 研究阶段”。在过去一年里，我们已经取得了不错的进展，但仍需要持续推进，继续深入研究。我把 SSI 看作是在这个领域中尝试发声、贡献力量的组织。
帕特尔：你的联合创始人、前任 CEO 最近离职去了 Meta，人们会疑惑：“ 如果 SSI 真的在取得突破，他为什么离开？” 你怎么看？
苏茨克维：对此我想强调一些可能被遗忘的事实。我们当时正在以 320 亿美元估值融资，而 Meta 随后提出收购。我拒绝了这个收购提议，但我的前联合创始人选择同意，并获得了相当可观的短期套现。他也是 SSI 中唯一加入 Meta 的人。
帕特尔：听起来 SSI 的目标是在历史性阶段—— 也就是人类进入拥有超人类智能的时期—— 成为处于最前沿的公司。你对如何让超人类智能安全、平稳地发展有自己的想法。但其他公司也会有他们的做法。是什么让 SSI 的方法与众不同？
苏茨克维：SSI 的主要区别在于其技术路径。我们采用了一种不同的技术方法，我认为这种方法具有潜在价值，因此正全力推进。
我认为最终各家的策略会逐渐收敛。随着 AI 能力不断增强，大家会越来越清楚应采取怎样的策略。总体上，这些策略大致包括：找到可靠的沟通方式；确保最早出现的真正超级智能是对齐的；让它在某种程度上关心生命、关心人类、重视民主，或具备这些目标的组合。
我认为这些都是所有参与者应努力实现的目标，也是 SSI 正在追求的方向。我相信，随着时间推移，其他公司也会逐渐意识到他们也在朝同样的目标前进。随着 AI 能力继续提升，世界会发生深刻变化，人们的行为方式也会随之改变。
帕特尔：既然谈到预测，你认为这种能够像人类一样学习、最终超越人类的系统会在何时出现？
苏茨克维：大概在 5 到 20 年之间。
帕特尔：假设在未来几年里，各公司继续沿用当前路线，但最终到达一个“ 停滞” 的阶段。这里的“ 停滞” 意味着收入维持在较低的几千亿美元规模？你认为这种停滞会呈现出怎样的状态？
苏茨克维：在不同公司之间，这种停滞可能会表现得非常相似。即便如此，这些公司仍可能获得相当高的收入。利润可能不高，因为它们需要持续竞争，但收入仍然会很可观。
帕特尔：但在你的模型中，似乎存在某个“ 正确解” 出现后，各公司会开始趋同。我想知道你为何认为会发生这种情况。
苏茨克维：我主要指的是对齐策略的趋同。技术方法最终可能也会收敛，但我真正谈的是在“ 应该采取哪些对齐措施” 这一点上的趋同。
帕特尔：我试图更清楚地理解你的未来图景。目前有不同的公司，它们可能继续获得收入，但无法实现类人级别的学习系统。于是行业出现分化：你所在的 SSI、Thinking Machines，以及其他实验室。假设其中某家公司找到了正确方法，并推出产品。那么其他公司会因此找到正确做法吗？
苏茨克维：具体做法可能不会立即清晰，但“ 某种新可能性确实存在” 这一点会变得非常明确，而这本身就是重要信息。其他公司随后会尝试推断相关机制。但我认为还有一点常被忽略：AI 能力每一次提升后，行业处理问题的方式都会发生某种变化，只是目前无法精确判断这种变化的具体形式。我确信它将非常重要，但很难现在就给出明确描述。
帕特尔：按照常理，你会认为掌握这一模型的公司将获得所有收益，因为该公司拥有模型本身，而模型又积累了大量知识与技能。有什么理由相信，这些收益会被广泛分配，而不是只集中在最早启动持续学习循环的那家公司？
苏茨克维：我认为实际情况不会如此集中。首先，从过往 AI 的发展可以看到，一家公司取得突破后，另一家公司会迅速追赶，并在一段时间后做出相近的成果，随后双方在市场上竞争并压低价格。从市场机制来看，未来也会发生类似的情形。
另外，我们讨论的是较为理想的情境：我们拥有强大的类人学习系统，而且这些超级智能系统完全可以在保持“ 狭隘” 的前提下发挥作用。也就是说，我们可以拥有许多“ 狭窄但极其强大” 的超级智能。
假设有大量这样的系统，而某家公司因擅长其中一个领域而获利丰厚，那么市场中仍然会有其他公司进入竞争。竞争通常通过专业化展开，无论在经济生态还是生物演化中都是如此。不同公司会进入不同的细分领域。在这种情形下，可能一家 AI 公司在某种复杂经济活动上特别突出，另一家在不同领域更有优势，第三家也许非常擅长处理法律事务。
帕特尔：但这是否与类人学习的特性相冲突？如果系统具有类人学习能力，那么它应该能够学习各种领域知识……
苏茨克维：确实可以，但学习需要投入。要在某一领域达到极高水平，需要巨大的计算量与经验累积，这是长期投资的结果。一家公司在某个领域已投入大量资源达成领先优势，而另一家公司可能在另一个方向投入了同样巨大的成本。两者都通过类人学习达到了高水平，但积累的位置不同。因此，当一家公司已经在某个领域达成优势时，其他公司未必愿意从头开始学习同样的内容，因为代价极高。他们反而更愿意学习其他方向，从而形成自然的专业化分工。
帕特尔：我想这意味着许多不同的公司需要同时拥有类人类的持续学习智能体，这样它们才能在不同领域开始各自的探索。然而，如果一家公司首先获得了这个智能体，那么就会有利可图。因为如果考虑经济中所有的工作，且每个工作都由一个实例学习，似乎对于一家来说是可以实现的。
苏茨克维：这是一个合理的论点。但我的直觉是，事情不会按照这种方式发展。理论上，这似乎是可行的，但实践中，我认为它不会走这条路。
帕特尔：很多递归自我改进的模型明确指出，我们将拥有成千上万的“ 苏茨克维” 实例，各自提出不同的想法，这将加速超级智能的诞生。你如何看待你们的工作在可并行化方面的潜力？复制“ 苏茨克维” 的收益是什么？
苏茨克维：我不确定。我的直觉是会有递减效益，因为你希望得到不同的思维，而不是相同的思维。如果你只是我的完全复制品，我不确定你能从中获得多少增量价值。真正需要的是具有不同想法的人。
自我博弈：打破千模一样的僵局
帕特尔：为什么不同的模型，即使来自完全不同的公司，训练的数据集可能完全不同，它们的 LLMs（大语言模型） 仍然如此相似呢？这似乎很疯狂。
苏茨克维：或许这些数据集的差异并不像我们表面上看到的那样大。
帕特尔：但从某种意义上来说，即使未来的 AI 可能比单个的人类更具生产力，也许人类团队会比 AI 团队具有更多的多样性。那么，我们如何在 AI 智能体之间实现多样性？
苏茨克维：我认为缺乏多样性的原因，主要是因为预训练。所有预训练模型在同一数据上进行训练，所以它们的表现非常相似。强化学习和后训练是开始出现分化的地方，因为不同的人提出了不同的强化学习训练方法。
帕特尔：我曾听你暗示过，自我博弈是一种获取数据或者将智能体与同等智能的其他智能体匹配，以启动学习的方式。那么，为什么目前没有公开的提案表明这种方法在 LLM 上有效呢？
苏茨克维：我认为这里有两点需要说明。首先，自我博弈有趣的原因是，它提供了一种仅通过计算而非数据来创建模型的方式。如果你认为数据是瓶颈，那么仅使用计算的方式就非常吸引人。
问题是，自我博弈，至少以往的做法—— 让智能体以某种方式相互竞争—— 只适用于发展某些特定技能。它过于狭隘，通常只适用于谈判、冲突、某些社交技能或者策略制定之类的任务。如果你关心这些技能，自我博弈的确会有用。
实际上，我认为自我博弈已经找到了它的归宿，只是形式不同。比如辩论、证明者-验证者的结构，你可以有一个 LLM 作为“ 评审”，它被激励去在其他人的工作中寻找错误。你可以说这不完全是自我博弈，但这是一种对抗性的设置，我相信这是人们正在探索的方向。
真正的自我博弈可以看作是智能体间更广泛竞争的一个特例。对竞争的自然反应是尝试变得不同。因此，如果你将多个智能体放在一起，告诉它们：“ 你们都需要解决同一个问题，而你是一个智能体，你正在观察其他所有人是如何做的，” 它们就会意识到：“ 如果他们已经采用了这种方法，我不确定我是否该沿用它。我要做点不一样的事情。” 我认为类似这样的设置可以激励方法多样性。
研究品味：美、简洁、大脑启发，缺一不可
帕特尔：最后一个问题：什么是研究品味？显然，你是世界上被认为在 AI 研究方面拥有最好品味的人。从 AlexNet 到 GPT-3，再到深度学习历史上最大事件的合著者，你如何描述这些想法的形成过程？
苏茨克维：我可以从我个人的角度来评论这个问题。我认为每个人的方法都不同。对我而言，有一件事一直指导着我，那就是 AI 应该具有什么样的“ 美学”，通过思考人类是怎样的，然而这种思考必须是正确的。我们很容易以错误的方式去理解人类的本质，但我们必须正确理解人类的本质。
举几个例子。人工神经元的概念直接受到大脑结构的启发，这个想法非常棒。为什么呢？因为大脑有许多不同的器官，它有褶皱，但这些褶皱可能不太重要。那么，为什么神经元如此重要呢？因为它们数量庞大。这种想法让人感觉对了，所以你希望神经网络中有很多神经元。你需要一些局部的学习规则来调整神经元之间的连接，这样才能模拟大脑的运作，这看起来是合理的。
另外，分布式表示的概念也是如此。大脑通过经验来响应环境，所以我们的神经网络也应该从经验中学习。大脑学会通过经验，而神经网络应该通过经验来学习。你会问自己：某件事是本质的，还是仅仅是细节？事情应该如何运作？
我认为这些原则指导了我很多决策。我从多个角度思考，寻找一种几乎是美、简洁和优雅的方式。没有丑陋的东西容身之地，它必须美、简洁、优雅，并且与大脑的启发一致。所有这些因素要同时存在。它们同时存在的程度，直接决定了你对一个自上而下的信念的信心。
自上而下的信念是什么呢？它是支撑你在实验结果与你的信念相悖时坚持下去的动力。因为如果你只是依赖数据，那你可能偶尔会走上正确的道路，但你也可能会犯错。你怎么知道自己犯了错？你怎么知道是继续调试，还是应该得出结论，认为方向不对了呢？这就是自上而下的信念。
你会告诉自己，事情应该是这样的。如果某个方法应该有效，那么即使暂时看不见结果，也要坚持下去。这就是自上而下的信念，它来源于这种对大脑启发的多角度理解，以及对美的追求。（作者｜郭虹妘，编辑｜李程程）
更多精彩内容，关注钛媒体微信号 （ID：taimeiti），或者下载钛媒体 App
