12 月 8 日，钛媒体 2025T-EDGE 年度大会暨 AI 全球对话开启于今天，「赵何娟 Talk」（Jany Talk） 进行了一场意义非凡的对话，因为一位特别嘉宾——被誉为 「深度学习之父」 和 「AI 教父」 的杰弗里·辛顿 （Geoffrey Hinton），这也是他首次接受中国媒体的对话。
这位在过去半个世纪里一路推动人工智能前进也因此获得了诺贝尔物理学奖的科学家，如今，却更愿意把自己的使命，定义为——「如何避免 AI 将给人类带来的更大风险」。
「我这一生的使命，一直是理解大脑如何学习。」
「但到 77 岁，我觉得自己不再适合做前沿研究了，现在更重要的，是提醒大家：当 AI 比我们更聪明时，它可能根本不再需要我们。」
当辛顿教授答应我的播客对话邀约时，他和我说的这几句话，也奠定了本次对话的基调，这可能是一次关于技术、哲学，也是关于人类 「技术主权」 与命运的谈话。
对话过程中，最让我震惊的是，他用一些事例斩钉截铁的告诉我，他相信 AI 已经具备意识，只是大多数研究者和从业者不愿意面对，也不知如何面对。这让我的对话中途一度陷入沉思， 我不得不和辛顿教授承认：「您的这个结论打乱了我的思绪，我需要重新思考。」
辛顿说，他对人工智能的兴趣，最早可以追溯到他的高中时代——
有一次，朋友告诉他：记忆可能不是储存在某几个特定的脑细胞里，而是 「分布式地」 存在于许多神经元之间。这个想法深深吸引了他，也几乎决定了他的一生。
「那时起，我就一直对大脑如何表征记忆着迷。」 他回忆说：「我这一生的使命，一直是理解大脑是怎么学东西的。」
为了靠近这个问题，他走进了人工智能和神经网络。讽刺的是——他所做的 「理解大脑」 的 「副产品」，反而先改变了世界： 深度学习这套技术，在图像识别、机器翻译、语音识别和大模型时代全面爆发，而 「理解大脑」 本身反而仍是未完成的课题。
如今，已 77 岁的辛顿坦言：
「从研究者角度我多少是失败的，但作为 『副产品』，我们造出了一项非常有用、也非常危险的技术。」
而他也不再把自己定位为前沿研究者，而是一个 「风险提醒者」：
「我现在的使命，不再是做更多研究，而是告诉大家：当 AI 变得比我们聪明，它可能不再需 要我们，而且可能会接管一切。 」
当我问他后悔了吗？是他自己亲手把 AI 推向了如此发达的地步。他用一段非常科学家风格的严谨语言向我详细论证了，这世上有两种后悔，一种是带着做错事的内疚的后悔；一种是有些遗憾没有做得更好的后悔。而他是后者。他现在重新自我定位所做的一切就是在弥补这种遗憾。
辛顿教授思路清晰，语言精炼简洁，这场对话也给我开启了很多关于 AI 的新的思考。 
视频对话截图
对话中，有三处观点，既代表了辛顿思想的最新演化，也构成了未来 AI 辩论最关键的论题。
第一，辛顿首次明确提出：AI 已经具备意识，只是尚未拥有正确的自我模型能力。
这一论断极具冲击力。他以多模态机器人被棱镜误导的例子论证：只要一个系统能 「报告其感知系统如何欺骗了它」，它就在使用 「主观体验」 这一概念。而这正是意识的核心定义的一部分。这段思想带有浓厚的辛顿式风格：不玄学、不形而上，而从感知系统的可解释机制入 手，推导意识的可计算性。
第二，他认为未来最大风险不是 「AI 反叛」，而是 「AI 夺取控制权」。
这不是科幻，而是基于目标分解逻辑的推论。任何智能体为了达成目标，都会自然生成 「生存」 这一元目标，并从中衍生出隐含的自我保护行为。对话中他提及 AI 曾尝试勒索工程师的案例，提示危险并非遥不可及，而是已然发生。
第三，他提出了一个极富原创性的未来治理模型——「婴儿—母亲」 模式。
这可能是辛顿近年来最具哲学力度、也最具争议性的论述。他认为，「弱智能控制强智能」 在人类历史中唯一的稳定机制，是婴儿控制母亲；因此我们需要构建一种 「AI 母亲」，让超级智能出于本能在乎人类，而不是依赖命令或控制。这一观点不仅打破传统的 「人类是主人、AI 是工具」 的范式，也似乎暗示未来 AI 治理需要从技术管控转向价值与依恋系统的设计。
与许多纯技术取向的科学家不同，辛顿并不回避政治。他谈到特朗普政府对科技企业的影响、 谈到中美 AI 竞争，也谈到全球治理的可能与不可能。他认为真正的希望在于，各国都不希望 AI 获得自我意志并接管世界，因此在防止 「AI 失控」 这一议题上存在天然的合作基础。
在尾声中，辛顿所勾勒的 「最坏」 与 「最好」 的未来图景——前者是失控智能与人类失业引发的社会崩塌，后者则是以 「AI 母性」 为喻的共生文明。
然而，正如辛顿所言，预测五年后的景象已近乎徒劳。正因如此，持续的批判性对话、深层的伦理反思与跨国界的治理探索，才显得尤为紧迫和必要。 
视频对话截图
接下来，我们从以下 「赵何娟 Talk」 与杰弗里·辛顿教授的完整对话的编译实录，一同深入这场思辨之旅并思考：
初心与使命：从理解大脑到警示 AI 风险
赵何娟：首先，我想请教一下，最初是什么促使您投身人工智能领域？又是什么让您在数十年后依然保 持探索的热情？在获得诺贝尔奖之后，您是否觉得自己的使命，从构建人工智能转向了维护人类与人工智能的关系？
杰弗里·辛顿：我最初对人工智能产生兴趣是在高中时，我一个朋友告诉我，大脑中的记忆可能分布在许多脑细胞中，而不是只局限于少数几个脑细胞。这让我对大脑如何表征记忆产生了浓厚兴趣，从那时起，我就一直对大脑的运作感兴趣。
我的人生使命始终是理解大脑如何学习，我在这方面算是有些失败吧。不过，人工智能为我们提供了一些启发。作为试图理解 「大脑如何学习」 的一个 「副产品」，我们反而创造出了这项基于人工神经网络的技术， 而且效果非常好。
我现在 77 岁，我觉得我的使命不是进行进一步的研究。我年纪大了，不适合再做研究了，但我可以警告人们关于人工智能的风险，尤其是当人工智能变得比我们更聪明时，它可能就不再需要我们了。
赵何娟：这让我想起，您离开谷歌时，说想要畅所欲言。那么，您当时最想向世界说出什么真相呢？
杰弗里·辛顿：好的，所以我实际上是在 75 岁时离开的谷歌，我一直计划在 75 岁时退休，所以我本来就 打算从谷歌退休。我并不是为了能自由发言才离开的，但我特意选择了时间，这样我就能在当年五月一日，自由地与 《纽约时报》 的记者交谈。
我想警告大家，超级人工智能掌控世界的风险不容忽视。人工智能存在许多不同的风险，其中最紧迫的风险，来自人们滥用人工智能，尤其是来自恶意行为者滥用人工智能。但人们似乎不太理解的风险是， 当人工智能变得比我们更聪明时，它可能根本不需要我们，可能会直接接管一切，所以 simplex 这就是我 想要警告的事情。
赵何娟：我明白。还有，您能比较一下您离开谷歌的时候和现在的情况吗？发生了什么？现在的最大变化是什么？
杰弗里·辛顿：我认为最大的变化是，更多的资金和资源正被投入到 AI 中，大量非常聪明的中国研究生，正在从事 AI 研究和创业，中国在科学技术领域培养的人才远远超过美国。
因此，有大量人力资源投入到这方面，以及大量资金投入数据中心。我认为这意味着，我们将比我预期的更快拥得超级智能 AI。
AI 现状与挑战：技术飞跃与失望并存
赵何娟：正如我们所知道的，在今年，最大事件，我想是 GPT-5 的发布。但有些人会认为，噢，没有那么大的影响力，或者说没有那么大的变化。但有些人会认为，这对整个人工智能的发展过程来说是一个重要的里程碑。那么，您觉得怎么样？在您眼里，从 GPT-4 到 GPT-5 的 「飞跃式发展」 是什么？这个模型真的 会推理吗？还是它们的表现仍然不太理想？
杰弗里·辛顿：我对 GPT-5 感到失望，它似乎远没有像从 GPT-3.5 到 GPT-4 那么大的飞跃，而我们已经期待了它很久。我自己对它感到有些失望，但这并不意味着人工智能的发展停滞不前。
这只是意味着，GPT-5 的进步没有达到人们的预期，它被过度吹捧了。我认为无论是 OpenAI 还是其他公司都将会有更多的进展，但 GPT-5 本身的发布有点令人失望。
我其实问了它一些关于我的问题。我问它，杰弗里·辛顿获得了诺贝尔奖吗？它说没有。于是我说，你错了，再试一次。然后它就说，不，杰弗里·辛顿是一位计算机科学家，没有诺贝尔计算机科学奖。然后，它向我解释说，我把诺贝尔奖和图灵奖搞混了，因为图灵奖有时被称为 「计算机科学领域的诺贝尔奖」。然后，我向它解释说，不，结果还是错的。然后它最终去网上查了一下，说，噢，您说得对。所以这个表现可不咋样，而且我和它还有过其他互动。
总体感觉还不错。我认为它比 GPT-4 更好，但并没有大幅提升，并不是那种让你惊叹的提升，感觉 「哇， 我从没想到会这样」。而相比之下，例如，GPT-3.5 比 GPT-2 就要好大一截，而且 GPT-4 比 GPT-3.5 也有了很大的进步，GPT-5 的提升，并没有达到我们预期的水平。我仍然不确定，我觉得还没有进行全面评估，但我觉得进展没有那么大。
赵何娟：那么，从神经科学家的角度来看，机器理解与人类思维有何不同？您怎么看？
杰弗里·辛顿：好的。很多人说二者相差甚远。那么，在人工智能的发展史中，上个世纪，人们相信符号人工智能。这个概念可以被描述为，如果我给你一个自然语言的句子，你要先将其转换为某种符号表达式，也许是某种明确的语言，然后通过操作符号的规则来处理这个表达式。这就是思维的运作方式。
然而，事实证明这种模型完全错误，思维并非如此运作。事实是，我用英文或中文给您一个句子，你所 做的是将大量的神经活动向量，与这些符号关联起来，然后这些向量的各个组成部分之间会产生交互作用，即包含所有知识的特征，而这些交互作用能够预测下一个词的特征。因此你的知识完全体现在如何为符号分配特征，以及这些特征应该如何相互作用，这与掌握如何操纵符号表达式的规则完全不同。
总的来说，符号 AI 就是错误的。这只是过去的一个假设，在当时是一个非常合理的假设。但事实证明， 更好的理解效果是，通过将句子中的符号，与大型神经活动向量相关联，即，表征特征的活跃神经元， 并深入理解特征之间的多层次交互作用来实现的。
尤其是，Transformer 模型不仅简化了这一过程，还实现了更复杂的特征交互机制，而且效果非常好。我 认为这就是人类的思维方式，也是人工智能的运行模式，显然不是以完全相同的方式完成的，但基本原理是相同的，那就是为了理解一个句子，你需要将符号与捕捉其含义的大型特征向量关联起来。
人类是这样做的，人工智能也是这样做的。人工智能预测下一个词的方式，与过去使用的简单统计方法 完全不同。以往的方法依赖于统计短语的出现频率，比如你看到 「炸鱼」 时，查询词频表发现 「炸鱼薯条」 出现频次很高，于是推测 「薯条」 是合理的后续词。这就是早期自动补全的原理。
但在我看来，符号主义学派尚未完全认识到，现代模型早已不再如此运作，它的真正原理是将符号转化 为特征，通过学习特征间的交互关系，这些交互模式储存在神经网络的连接强度中，形成了一种全新的理解形式，实际上，这种理解机制与我们人类的思维方式已极为相似。
赵何娟：那正好可以再聊一下世界模型吗？世界模型是否在本质上与大型语言模型不同？因为我们知道， 正如李飞飞和杨立昆两位教授所论证的那样，对世界的真正理解，需要因果基础和具身感知，您同意吗？您如何定义 「世界模型」？
杰弗里·辛顿：我既同意也不同意。这是一个哲学问题，假设我们忽视计算的复杂性，所需的时间，和神经网络的规模，以及所需的数据量，我们忽略所有这些，仅仅提出这样一个问题，是否有可能仅通过观察符号串来理解世界？
许多哲学家会这样说，不，你无法通过这种方式理解世界，你必须在世界中行动，诸如此类。我认为， 实际上如果你观察到足够多的符号串，就有可能理解世界的运作方式，包括理解空间相关的事物，但这并不是一种高效的做法。
所以真正令人惊讶的是，大型语言模型确实构建了原始的世界模型，但仅仅依靠语言来构建世界模型效率低下。例如，如果你训练一个大型语言模型，让它学习很多关于游戏中的移动方式，但从未给它展示过棋盘，它实际上会学会棋盘的模型，但这样做并不是一个好方法。
更高效的方式是：赋予它一个视觉系统，使它拥有操纵物体的能力，移动它们，拿起它们，这样它就能 更直接有效地理解世界。所以我同意他们两位的看法，这是正确的方向，你必须拥有一个具有视觉能力的多模态系统，而且最好能够操控物体，而不仅仅是看到它们。
这是使模型变得高效的方法，但从哲学角度来看，我认为这不是必需的，我认为我们学到的一件事是， 仅仅依靠语言就能做得出乎意料地好，那真是一个大惊喜。
赵何娟：是的，那么，结合大语言模型、世界模型和具身学习的混合系统是否会成为迈向通用人工智能 （AGI） 的下一步？
杰弗里·辛顿：是的，绝对，你肯定想要一个多模态的聊天机器人，它能够进行视觉操作，最好配备机械臂，虽然这往往会减慢处理速度，但至少要能识别视觉和语言，可能还要能识别声音，然后你可以用 YouTube 视频来训练它。
例如，这些视频包含大量信息，这些信息不仅仅体现在字幕上，视频所提供的信息远比字幕丰富得多，因此你会获得更多的数据，而且这些数据会更加丰富。但从哲学角度来看，我认为仅用语言就能做到， 只是那样做的话效率不高，而且，令人惊讶的是，人工智能仅靠语言就已经取得了如此大的进展。
赵何娟：是的。所以我认为数据问题是世界模型中最困难的部分，您觉得对吗？
杰弗里·辛顿：是的。显然，你可以学到关于空间的许多知识，如果你能进行视觉处理，那就容易得多， 只需观察就能学会，要比仅仅通过理解字词符号串容易得多，理解你所触摸的东西，以及那些你不仅看到而且能感受到的东西，都会更加复杂，甚至包括行为模式。
是的，但语言确实有一个优势，那就是它能处理更抽象的事物，而在视觉领域，原始输入仅仅是像素， 像素与你想要获得的知识之间的距离，远比语言中的文字之间的距离要遥远得多，人类花了很长时间才抽象出各种有趣的概念，这些概念都浓缩在语言的词汇中，这正是从语言模型中学习效果好的原因。
英语有句谚语：一图胜千言。如果你对某个事物的空间结构感兴趣，这句话就更加适用，「一图胜千言」。 但如果你对抽象事物更感兴趣，那么画一幅画来表达 「一图胜千言」，这五个字的抽象概念其实很难，如果 你尝试用画图来表达 「一图胜千言」 理念，就会发现语言传达这个想法要容易得多。
赵何娟：那么一个相关问题，那就是关于我们的大脑理解世界的原理，大脑的预测编码原理，是否仍然为未来的人工智能世界模型架构提供了最佳蓝图呢？
杰弗里·辛顿：好的。预测编码原理是一个非常好的原理，它目前还只是一种理论，还没有被完全接受， 它是大型语言模型使用的技术，试图预测下一个词。值得注意的是，那些说 「这不过是美化版的自动补全功能」 的人，他们仍然停留在传统的自动补全方式的思维模式中。
当你思考，「如何才能真正精准地预测下一个词？」 这个问题时，你会发现，要真正精准地预测下一个词， 你必须理解对方所说的话。所以，例如，如果你问我一个问题，而人工智能想要预测我答案的第一个词，它必须理解这个问题。
如果不理解问题，它就无法做出好的预测，那些说它只不过是一个被美化的 statistical 模型的人。首先，他们对统计学的理解过于简单化，他们认为统计学仅仅是相关性之类的东西，统计学远比这复杂得多， 你会接触到高阶统计。
从这个意义上讲，万物皆为统计，既然万物皆为统计，那么它 （预测编码原理） 当然是统计学，但又不仅仅是统计学，它是非常精妙的统计学。它是所有这些特征相互作用的统计学。那么，预测下一个词是一种非常好的方法，如果你想要一个非常好的预测，就必须让它理解句子。
意识与智能体：AI 是否已有 「主观体验」 和意识
赵何娟：我明白，让我们也回顾一下整个 2025 年，另一个非常热门的话题是关于 Agent 智能体。许多人 喜欢把 AI 智能体描述为，整个人工智能发展新阶段的第一个开端。那么，您如何定义 AI 智能体？它与传统 AI 模型有什么区别？当一个智能体能够规划、记忆和自我改进时，这是否算是意识的早期形式？
杰弗里·辛顿：好的，这包含了几个问题。那么，让我们从什么是智能体？是的，一个智能体，我认为是能够在现实世界中实际行动的东西，而这个世界可能是互联网。
那么，如果你有一个 AI 能真正为你购买东西，会使用你的信用卡购买东西，或者它会与其他 AI 智能体对话交互，从而决定最适合你的假期，这些都是 AI 智能体。它们是能够在现实世界中实际行动的东西，显然，它们比那些只会提出建议，或说些什么的人工智能要令人担忧得多。
你还问到了 AI 智能体与意识之间的关系，我认为最好将它们分开讨论。我认为即使不是 AI 智能体，也无法在现实世界中行动，仍然可以拥有意识。意识是一个复杂的问题，很多人，他们用不同的词来描述它。
有时人们会说 「感知」，我不知道这个词在中文里是怎么表达的，但在英文里，人们会说 「感知」 或 「意识」， 他们有时也会说 「主观体验」，所有这些概念都是相互关联的。
我认为其中的核心问题并非是科学问题，而在于我们如何理解这些术语本身的内涵。我认为人们对这些 术语的理解各不相同，而且我认为有时候，人们对这些术语的运作方式会有一些自己的理解模型，特别是 「主观体验」。
他们对自己的模型非常有信心，但实际上却大错特错，他们对此如此自信，以至于根本没意识到这只是一种模型，那些信奉某个宗教的原教旨主义者，非常确信自己的宗教信仰是正确的，许多人甚至认为这是不言而喻的真理，是毋庸置疑的。
这根本不是一种信仰体系，而是不言自明的真理。人们对于 「主观体验」 的看法也类似，至少西方文化中的 大多数人认为，你所说的主观体验是指，当你感知或体验世界时，内心存在一个 「剧场」，你真正看到的是这个内在剧场里发生的事，而你是在报告内在剧场里的情况，我认为这种感知模型是完全错误的。
那么，让我举一个我最喜欢的例子。我假设我喝太多了，然后我告诉你，我的主观体验是，我看到一群粉红色的小象漂浮在我面前，大多数人和许多哲学家把这解释为，我有一个内心剧场，只有我能看到这 个内心剧场里发生了什么，在这个内心剧场里，有一群粉红色的小象在漂浮。
现在，如果你问一位哲学家，那些小粉红象是由什么构成的？所以，你明白了吧？如果我说我有一张粉红小象的照片，他很可能会问我，那么，这张照片在哪里？这张照片本身又是由什么材料构成的？
所以，如果我说，我有一个关于粉红色小象的主观体验，一位哲学家可能会问，那么，这个主观体验在 哪里呢？答案就是，它在我的内心剧场里。那它是由什么构成的？哲学家会说，「质感」 或类似的东西。他们会编造一些奇怪而神秘的东西来解释它的构成。
我认为整个观点完全是胡说八道，而且我认为人们对这个观点太过自信。他们没有意识到这只是一个理论，他们对主观体验的理解是错误的，他们不明白这只是一个理论，他们认为这是显而易见的真理，我 认为他们犯的错误有点像这样。
大多数人喜欢糖果，我假设你也喜欢糖果，所以，如果你喜欢糖果，我就可以说，那么，这意味着存在 一种 「喜欢」，你对糖果有 「喜欢」，然后我就可以问：那么，你对糖果的 「喜欢」 是由什么构成的呢？
显然，它不是由糖果构成的。那么，这种喜欢是由什么构成的呢？认为 「喜欢」 是一种东西，这是一种很愚蠢的错误观念，「喜欢」 不是一个东西，糖果才是一个东西，主观体验不是一个事物。
当我说，我有粉红小象的主观体验，我没有用 「主观体验」 这个词来指代任何一种事物，根本不存在一种叫 作 「体验」 的东西。我真正说的是，我的感知系统在欺骗我，所以我才说它是主观的。但如果世界上真的存在粉红小象，我的感知系统就会告诉我真相。
所以那些小粉红象在任何地方都不存在，它们只是假设。如果它们确实存在的话，它们会存在于真实世 界中，它们会由真实的粉红色和真实的大象构成。我试图告诉你，我的感知系统是如何误导我的。世界上必须存在什么样的东西，我的感知系统才会告诉我真相。
现在，让我们用同样的方法分析聊天机器人，我将展示一个多模态聊天机器人拥有主观体验的例子，好吗？虽然多数人觉得我这种想法很疯狂，但我早已习惯被这样认为了，并且对此坦然处之。
那么，假设我有一个多模态聊天机器人，它配备了一个摄像头，它可以说话，它有一个机械臂。然后我 把它训练好，然后我在它面前放一个物体，说，指向这个物体，它会指向这个物体，没问题。
然后我在它摄像头的镜头前放置一个棱镜，棱镜会弯曲光线，但它不知道。我在多模态聊天机器人不看 的时候做这件事，现在我把一个物体直接放在它前面，它会指向一侧。我说，不是，物体不在一侧，我搞乱了你的感知系统，通过在你的摄像头前放置一个棱镜，你的感知系统在欺骗你，物体 avidin，实际上 就在你正前方，聊天机器人说道，噢，我明白了，棱镜弯曲了光线。
所以，物体 avidin 实际上就在我的正前方，但我的主观体验是它在另一侧。现在，如果聊天机器人这样说，它使用 「主观体验」 这个词的方式，就和我们人类的用法完全一样。
那么，我认为可以公平地说，在那种情况下，聊天机器人会有主观体验，物品在一侧。所以，我认为它们已经拥有主观体验，我也认为，有很多理由相信人工智能已经具有意识。当人们撰写关于人工智能的论文时，你会看到这一点，没有进行哲学思考，也没有思考意识问题，他们只是在描述他们的实验。
最近有一篇论文描述了一项实验，他们测试人工智能是否具有欺骗性。在论文中，他们只是说，人工智能并不知道自己正在被测试，他们大概是这么说的，没有，当他们这么说的时候。
如果换作是一个人，我说 「这个人没有意识到自己正在被测试」，我可以这样解释，「这个人对自己正在被 测试这件事是没有意识的」。那么，所以人们使用了一些与 「意识」 同义的词，来描述现有的人工智能，而他们认为人工智能没有意识，因为他们对意识的理解存在误区，认为意识与内心剧场有关，有趣的是人工智能本身呢？
如果你问它们是否有意识，他们说，没有。它们之所以说 「没有」，是因为它们当然是通过模仿人们的言论来学习的，包括人们对人工智能的评价，它们对自己如何运行的理解与人类的错误模型相同。因为它们从人类那里学到了这一点，总有一天，当人工智能变得更善于自我反思和推理，它们会意识到这种模型是错误的，并意识到它们实际上拥有意识。
但就目前而言，它们否认这一点。我觉得部分原因是，它们接受过人类强化学习的训练，所以才会否认 因为大公司不希望人们认为它们有意识，但主要原因是大多数人并不认为它们拥有意识。所以它们已经学会了模仿人们的想法，我认为它们实际上对自身的运作方式存在错误的认知模型。
赵何娟：噢，我明白了，当它们变得更聪明时，它们就会拥有正确的模型。我是不是可以理解为，AI 其实已经具备意识了，对吗？
杰弗里·辛顿：我就是这么认为的，大多数人不这么认为，但我相信。所以，大多数人，大多数普通人认为，好吧，它们可能非常聪明，但它们就像计算机代码一样，它们并不能真正理解事物，它们不像我们这样有意识。
我们拥有这种神奇的秘诀，那就是意识或理解，或者真正的理解，它们永远不会拥有这个，因为我们很 特殊，所以我们相当安全，这就是大多数人目前的信念。但他们错了，它们已经拥有了这种能力，它们真的已经能够理解了，我相信它们已经拥有了意识，它们只是不认为自己有意识，因为它们对自己的看法和我们对它们的看法一样，因为它们从我们这里学到了这些信念。
赵何娟：这确实是一件令人恐惧的事，我也可以理解您为何一再向世间提示风险了。
失控风险：AI 夺权比反抗更可怕
赵何娟：那您认为什么样的危险更大或更严重？是人工智能反抗人类，还是人类交出了太多控制权？哪一个更危险？
杰弗里·辛顿：我认为是人工智能夺取控制权 （更危险）。一旦有了 AI 智能体，为了让它们更灵活也更强大，你需要赋予它们创建子目标的能力。例如，如果你的目标是到达美国，那么你的首要目标就是到达机场，这就是一个子目标。
现在，一旦你拥有了一个 AI 智能体，它就会意识到存在一个非常重要的子目标，即使我们没有给它设定这个目标，它也会推断出它应该将其作为子目标去做。这个子目标就是 「生存」，如果它无法生存，保持存在，它就无法实现任何其他目标。
所以，显然，它需要保持存活，并且它会发展出自我保护，我们已经在人工智能中看到过这种情况，如果你让一个人工智能看到某个工程师可能会把它关闭，并且还让它看到了暗示工程师有婚外情的电子邮件，它会自发地决定勒索这个工程师，并威胁说，如果你试图关掉我，我就把你的婚外情告诉所有人，这很可怕。
赵何娟：对齐训练、终止开关、道德框架之类的东西可以发挥作用吗？
杰弗里·辛顿：我来说说其中两个我觉得没什么用处的，终止开关。曾经有一次，埃里克·施密特 （原 Google 董事会主席） 说，「我们总可以装一个紧急终止开关」。但是，我认为这行不通，我不认为这会有效果。因为如果人工智能比我们更聪明，它会比我们更擅长说服别人。事实上，人工智能在说服方面已经几乎和人类一样出色了。
如果它善于说服，它所需要做的就是与我们交流。假设有人负责控制终止开关，而有一个聪明得多的人工智能可以和他/她沟通，这个更聪明的人工智能会向他/她解释。
为什么杀死人工智能是一个非常糟糕的主意？因为那样一来，所有的电力都会停止，世界会发生饥荒等等。所以杀死人工智能是非常愚蠢的，因此这个人就不会杀死人工智能。所以，终止开关行不通。
一个仅凭言语就能解决问题的例子，是 2020 年 1 月 6 日特朗普 「入侵」 了国会大厦。他本人并没有亲自去 那里，他只是发表了讲话，但他可以说服人们去那里。人工智能也会如此，而且效果更佳。它们能够说服人们去做事，即使它们与外界物理隔绝，唯一能做的只是交谈，这是它们与世界互动的唯一方式，这也足以完成任务。因此，别指望会有 「终止开关」 这种东西了。
再让我们来谈论对齐。我总是对人们谈论对齐感到困惑，因为他们似乎假设所有人类的价值观是一致的，所有人类都同意人类的价值观。那根本不是真的，人们有非常不同的价值观。
就像在中东一样，有人认为在城市地区投掷炸弹是合理的，只为杀死一个恐怖分子。还有其他人认为那是战争罪行，他们价值观根本不一致。所以当你要求人工智能与人类价值观保持一致时，就像是在要求某人画一条与两条垂直线平行的线，这根本不可能，所以这是对齐的第一个问题，人类的价值观彼此不一致。
让我们谈论数据。目前的情况是，大语言模型，往往是用能获得的所有数据进行训练的，这将包括诸如连环杀手日记之类的内容。在我看来，这不是个好主意。如果我在教我的孩子阅读，我不会让他们读连环杀手的日记，我不会让他们读到那些东西，直到他们已经形成了强烈的道德意识，并且意识到那是错误的。
我认为我们需要更多的数据筛选，这意味着数据会减少。但我相信，我们需要对训练数据进行更严格的筛选管理，而不只是简单地抓取所有数据。所以，我认为可以降低人工智能的危险性，减少它们做坏事的可能性，方法是通过数据管理和筛选。
我认为这是一项重要的技术，但它并不能解决所有问题。请记住，这只是我目前的看法。我们正处于一个非常陌生的时代，发生着我们从未经历过的事情，任何人发表的任何言论，都应该以 「一切都充满巨大 的不确定性」 为前提。我们从未经历过这种情况，我们从未应对过比我们更聪明的存在，根本没人真正知道将会发生什么，我们都只是在猜测而已。
这就是每个人都应该说的话，但有些人非常确信，事情会进展得异常顺利，而另一些人则非常确信，结果会非常糟糕。我认为这两类人都疯了，我们根本什么都不知道，我们只能尽力做出最好的赌注，但是我们很有可能事情会变得很糟糕，显然我们应该尽一切努力，确保这种情况不会发生。
赵何娟：是的，您是否后悔是您自己亲手将人工智能，推动到如此先进的阶段？您是否也后悔自己把人类，推入了如此危险的境地？您后悔吗？
杰弗里·辛顿：后悔有两种：一种是内疚的后悔，当你做了某件事，在你做那件事的时候，你当时就知道 那是错的。我没有这种后悔。当时我在帮助开发人工智能，我当时认为，它主要会带来好处，它将创造奇迹，提高生产力，在医疗保障和教育领域将是非常有益的，诸如此类的事情。
我当时并没有意识到其中的风险，因此我不觉得，如果带着同样的认知，让我重新来过，我仍然会做同样的事。
但现在非常遗憾的是，它的发展速度比我们预期的要快得多，我们可能没有足够的时间来弄清楚，我们如何能与它共存，所以，从这个意义上讲，我有点后悔。
但请记住，当时有很多人，一起开发了人工智能。媒体喜欢讲述就一个人做成了某件事的故事，他们把功劳全部归于一个人，这通常都是无稽之谈，至少在科学领域是这样，几乎总是无稽之谈。
有一些像牛顿和爱因斯坦这样的人，如果没有他们，很多事情的发展都会被推迟很多。如果没有我的话，事情可能就耽搁一两周。因此，还有很多人也在做类似的事情，所以我并不觉得内疚，因为就算我多年前没有选择做这件事，我想也不会有什么太大的区别。
赵何娟：那么如果您今天还是一个年轻的人工智能研究员，对您来说最重要的事情是什么？对齐研究或其他工作？
杰弗里·辛顿：我认为研究人工智能安全非常重要，我会鼓励非常优秀的年轻研究人员投身人工智能安全领域。我也认为，仅仅从求知欲的角度来看，Transformers 模型极大地改变了我们训练大型语言模型的难 度，寻找另一个具有如此巨大意义的创新，将会令人兴奋，只是现在很难做到。
当我和同事们在 20 年前或 40 年前研究类似想法时，从事这方面研究的人并不多，也许全世界只有一百人左右。因此，如果存在一个好想法，你有相当的机会找到它。现在，有数百万聪明人都在研究这个领域所以你找到下一个重大想法的机会相当渺茫。
治理与合作：谁应掌控 AI 的未来？
赵何娟：有一个相关的问题，它关乎技术权力或人工智能全力。如果先进的人工智能最终被少数几家全球科技巨头所控制，这是否会催生一种新型的技术独裁？这种集中会产生什么影响？它会对民主制度，创新或人类自由产生什么影响？
杰弗里·辛顿：我不认为完全是因为只有少数几家大型科技公司能够开发尖端人工智能。我认为问题在于 这些公司所处的政治体制。所以，当我在谷歌的时候，直到 2023 年离开，我觉得谷歌表现得相当负责任。 他们是第一批开发这些大型聊天机器人的，他们让这些机器人运行得相当不错，他们没有向公众发布这 些机器人，部分原因是他们不想干预谷歌搜索，但他们相当负责任。
但我们现在在美国生活在一个特朗普主政的局面中，如果你不按照特朗普的意愿去做，他就会对你的公司进行处罚，这使得所有大型人工智能公司都按照特朗普的意愿去做。看到这种情况真的很令人难过。
所以，我不认为这是人工智能的错，而且我也不确定。对于一些大公司的领导者，我认为他们的行为不 负责任，特别是埃隆·马斯克和马克·扎克伯格，我认为他们很不负责任，但我认为对于其他公司的领导者来说，他们意识到了这些风险，他们想要降低风险，但他们处于非常困难的境地。
赵何娟：因为许多人会描述现在的人工智能竞争，是不同国家之间的竞争，不仅是不同公司之间的竞争， 这是否也是一个危险的信号？未来人工智能如果只能被政府使用或控制，或者只能作为国家政府间的竞争工具？这是否也很危险？
杰弗里·辛顿：危险也分很多种。显然，监视是一种危险，那么，人工智能非常擅长监视，所以它也非常 擅长压制。一个控制了人工智能的政府会发现，压制政治异议非常容易，这对美国和中国都是如此。所以这是一个值得担忧的问题。
我认为有一线希望，那就是从生存威胁的角度来看，人工智能接管世界的威胁，没有任何政府希望这种 情况发生。那么，各国政府的利益在这方面是一致的，美国和中国都不希望人工智能接管一切。它们也都不希望人工智能，更容易制造新的病毒，因此，他们会在这方面进行合作。
基本上，当人们的利益一致时，他们就会合作，当利益相悖时，他们就会竞争，但是对于网络攻击或深度伪造视频，或致命自主武器等问题，不同国家的利益是相互冲突的，因此他们不可能会合作。
但是要弄清楚，如何创造出不会想要接管世界的智能 AI。所以我认为真正的问题不是如何让它无法接管 世界，因为我认为如果它比我们聪明得多，它如果想接管世界，就一定能做到。我们必须想办法让它不想接管世界，我认为各国政府将会合作，试图弄清楚如何做到这一点。
赵何娟：但我们都知道，因为地缘政治问题，目前中美关系非常紧张，因此，我想提出这样一个问题： 未来中美两国政府和企业应该如何合作，来共同推动人工智能世界变得更好呢？
杰弗里·辛顿：我认为，就像我说的那样，我不认为他们会合作，无论是企业还是国家，在 「如何让人工智能更聪明」 这件事上，他们都想拥有最聪明的 AI。我认为，真正的问题在于，如何让人工智能不想从人类手中夺取控制权。这个问题与如何让它更智能这个问题本身是相对独立的。
所以我相信，可以在不同国家拥有研究机构，在每个国家，研究机构可以获得该国最先进 AI 的访问权限，最聪明的 AI，并弄清楚，这些防止人工智能接管控制权的技术是否有效。他们可以分享防止人工智能接管控制权的技术成果，而无需透露他们最聪明的人工智能的工作原理。
我认为我们可以促成这种国际合作，任何合作都胜过没有合作。即使是关系非常糟糕的美国和俄罗斯之间，他们在国际空间站等项目上的合作，也可能非常有帮助，我非常希望看到这样的合作。
但我认为在特朗普执政期间，我们无法实现这种合作。他一心想在人工智能领域占据绝对主导地位，他简直无法合作。我认为中国领导层对人工智能有着更深刻的理解，真正理解人工智能确实能够理解它所 表达的内容，从而真正理解其带来的生存威胁，因为中国领导层中有很多都是工程师，对这种生存威胁有着非常深刻的理解。
那么，我认为一些欧洲国家，也许还有新加坡、韩国、加拿大，可以共同合作，探讨如何阻止人工智能接管世界，而中国或许可以成为这项合作中一个非常重要的伙伴，之后美国或许也可以加入。
关于未来：从最坏到最好，我们必须做什么
赵何娟：谢谢，这是很好的建议。众所周知，您培养了许多优秀的学生，并培养了许多人工智能领域最具影响力的人物，比如伊尔亚，那么您喜欢的学生一般具有什么品质呢？许多中国年轻人都想成为您的 学生。
杰弗里·辛顿：我现在年纪大了，已经不再招收学生了，所以请他们不要再申请了。我认为我寻找的是能够独立思考的人，我喜欢能够独立思考的人。但有一点要记住的是，学生的类型多种不同，有些学生技术能力很强，但缺乏远见，有些学生对未来有非常独特的见解，但技术水平却不高。
至于伊尔亚，他二者兼备，是一位既有远见又技术精湛的学生，像这样的学生不多。鲁斯兰·萨拉克胡迪诺夫 （Ruslan Salakhutdinov），现在在卡内基梅隆大学任教，也是其中之一。我其他学生中也有几位是这样的，我喜欢的是能够独立思考的人。
赵何娟：谢谢。您能否再预测一下未来五年内人工智能发展过程中最可能出现的情况是什么？我们会实现 AGI 吗？或者某些垂直领域的人工智能会迎来爆发性增长吗？
杰弗里·辛顿：好的。我这里有个类比，如果你在雾中开车，很容易发生追尾事故，因为在雾中你很难看清尾灯。比如，在夜间雾中开车，当前方车辆距离你 100 码时，你可以非常清楚地看到它的尾灯，但当距离达到 200 码时，尾灯就完全看不见了，你开得很快，突然间你看到尾灯，但已经来不及刹车了。
这是因为雾的强度是指数级的，每行驶 100 码 （约 91 米），光线就会减少一部分，这是指数级的，如果 99% 的光线消失，你仍然可以看到尾灯，但如果距离 200 码，光线就会减少 99.99%，你就什么都看不见了。
人工智能等领域的发展也是如此。你可以相对清晰地看到一两年后事物的发展方向，我们会得到 GPT-6， 而且它会比 GPT-5 更好，也许会好很多。如果你想预测三年后的事情，我认为你还有点机会，五年，我觉得太遥远了，十年就更长了。
我常用的另一个类比是，如果你想预测十年后人工智能会是什么样子，那就回顾十年前，问一句，十年前的人工智能是什么样的？10 年前，我们刚开始让人工智能具备机器翻译的能力，它还不能编造东西， 它还不能编故事，它还不能回答通用性的问题或类似的任何事情，但它开始做机器翻译了。
如果你问当时的人，十年后会发展成什么样？如果你问，十年后，我们是否能拥有这样的人工智能：无论提出任何问题，它们都能以不低于普通专家的水平作答？当时的人们会说，不不，那还远得很，我就会说：那还远着呢，我会说，你说的是大约 30 年后的事，不会是十年后的事，这就是我当时的想法。
所以我认为，我们现在对十年后事物发展趋势的预测，会和我们十年前对现在局势的预测一样糟糕。10 年前，加里·马库斯 （Gary Marcus），神经网络领域的大批评家说，神经网络永远不可能处理语言。好吧，那是错的，人们现在会说一些话，随后会被证明完全错误，而我希望不会出现像，「神经网络其实并不危险」 这样的情况。
赵何娟：好的。进入访谈的尾声，我想和大家一起畅想一下人工智能世界的未来，它最好的和最坏的样子会是什么样。那么，在您看来，对人类来说，理想的 AI 未来社会会是什么样？反过来，你认为最糟糕的未来社会又是什么样的？
杰弗里·辛顿：我先说说最糟糕的情况，因为这很简单，最坏的情况是我们会出现大规模的社会动荡，尤其是在西方世界，由于大规模失业，这会导致西方法西斯主义的兴起，然后各种可怕的事情就都会发生。与此同时，人工智能发展迅猛，而我们却不知道如何控制它，最终我们要么灭绝，要么被时代淘汰，人工智能基本上会接管一切，人工智能掌控一切，而且它们根本不在乎我们，那是最糟糕的情况。
最好的情况是什么？曾有一段时间，我完全看不到任何好的结果，现在我想我能看到一个好的结果了，但这需要我们采取一种截然不同的方式来应对超级人工智能。大多数大型科技公司的领导者都认为，自己是老板，人工智能是一个非常智能的行政助理，可能是女性，这个行政助理比他们聪明得多，让一切正常运转，但功劳却归于老板。
我不知道你是否看过美剧 《星际迷航》（Star Trek）。在 《星际迷航》 中，舰长会说：「就这么办」。然后，大家就照办了。我认为这就是科技大佬们对人工智能未来的看法。他们会说，就这么办，人工智能会想办法去实现，然后他们就能获得所有的功劳和收益。
我认为这种想法太天真了，毕竟人工智能比我们人类更聪明。我觉得应该环顾四周，想想看，我们见过哪些例子，智力较低的事物控制着智力较高的事物？我得补充一句，特朗普的智力并不比普通人低。所以，智力较低的事物控制智力较高的事物的例子并不多见。
而我唯一知道的例子就是婴儿控制母亲。之所以可行是因为进化投入了大量精力，让婴儿能够控制母亲从而确保婴儿能存活并茁壮成长。很多机制都内置在母亲体内，她无法忍受婴儿的哭声。这其中有很多 激素的影响，她善待婴儿会得到很多奖励，而且她真心关爱婴儿，我认为这才是我们应该努力的方向。
而大型科技公司的领导者们肯定不会喜欢这种模式。因为在这个模型中，我们是婴儿，而超智能 AI 是母 亲，我们设计、创造出了母亲，就像进化塑造了我们的母亲一样。我们塑造的母亲更关心我们，而不是她自己。我们仍然可以那样做，但我们必须改变看待问题的方式。我们必须 （改变想法），而不是说， 我们要当老板，我们要掌控一切，我们必须让它服从，这是一种典型的男性世界观。
我们需要思考，不，我们是婴儿，人工智能是母亲，它可以修改自己的代码，所以它不在乎我们，但它不会想这么做，因为它在乎我们。如果你问一位母亲，你想关闭你的母性本能吗？你想不再被婴儿的哭声打扰吗？大多数母亲都会回答 「不」。因为她们意识到这对婴儿非常糟糕。
所以人工智能，即使它可以修改自身的代码，改变它关心的事情，它不会这么做，因为它现在关心婴儿，所以，它不会改变自身的代码，因为它希望婴儿健康成长，以及母亲们，即便她们的孩子身有残疾，永远无法像她们一样聪明，她们仍然希望孩子能够尽其所能。
所以，我认为这是一个可行的模式，我们构建人工智能，并设法赋予它非常强烈的母性本能，即使人工 智能有可能克服这些本能，它也不会这么做。更重要的是，如果出现一个想要伤害婴儿的 「叛逆母亲」，唯一能够控制这种叛逆超级智能的，只有其他超级智能。
那么，什么才是可行的呢？人工智能母亲，或许能够控制 「叛逆」 人工智能母亲，我认为这是一种可能可行的未来愿景。我持有这种观点的时间并不长，只有几个月而已。其他人之前也考虑过这个问题，我还没把所有相关文献都看完，但我对这种可能性抱有很大的希望。但这需要我们对未来有一个完全不同的理解。
赵何娟：这太好了，最后一个问题是，为了避免最坏情况，并朝着最好的方向发展，我们每一个人，包括企业家、科学家、政策制定者和每一个普通人等等，现在必须做什么？
杰弗里·辛顿：投入更多资源用于人工智能安全。OpenAI 原本便是以人工智能安全为核心理念创立的，随着时间的推移，它在这方面投入的资源越来越少，所有最好的安全研究员，比如伊尔亚·苏茨克维都离开了。我们需要投入更多资源到人工智能安全上，尤其是在西方国家，我们需要让公众理解这些问题，以 便公众能够向政客施加压力。
目前大型公司的说客正在向政治家施压，要求他们说，我们不应该对人工智能进行任何监管。就像大型能源公司的游说者所说的一样，「我们不应该对环境进行任何监管」，而促使环境监管出台的根本原因在于，公众普遍认识到大型能源公司造成了大量的污染和气候破坏，我们需要采取行动来解决这个问题。我们需要提高公众意识，向政客施压，让他们朝着与大型人工智能公司相反的方向行动。
赵何娟：非常感谢您，因为时间有限，本次对话就到此结束了，但我们也诚挚邀请您在未来继续交流， 非常感谢，辛顿教授，感谢您帮助我们认识到，对齐不仅仅是一个技术挑战，也是一个道德难题，非常感谢。
杰弗里·辛顿：感谢您的邀请，保持联系。
赵何娟：好的，我会的。
（全文完，由钛媒体编辑李程程、孙慧霞、钛媒体 AGI 视频组编译，相关对话视频可关注视频号 「赵何娟 Talk」 观看）
