Related articles
截图来自世界经济论坛官方直播
当地时间 1 月 20 日，在瑞士达沃斯小镇举办的世界经济论坛第 56 届年会上，一场名为 「AGI 之后的一天」（The Day After AGI） 的圆桌论坛吸引了不少关注。
这场圆桌被放置在论坛主议题之一的 「我们如何能够大规模且负责任地部署创新？」 下，主要聚焦哪些突破对 AGI 来说最为重要，以及在其真正实现之前和之后，人类会面临和需要解决哪些问题。
Google 旗下 DeepMind 联合创始人兼 CEO、诺贝尔化学奖得主德米斯·哈萨比斯 （Demis Hassabis） 与风头正劲的独角兽 Anthropic 联合创始人兼 CEO 达里奥·阿莫代 （Dario Amodei） 就此展开讨论。《经济学人》 主编詹妮·贝多丝 （Zanny Minton Beddoes） 应邀担任主持。
虽然圆桌的话题颇具科幻色彩，阿莫代和哈萨比斯也确实应景地谈到了 《超时空接触》、费米悖论等问题，但实质上，圆桌本身聚焦的是现实世界的问题，尤其是人类可能面对的风险。
两位嘉宾依旧看好人工智能能力的快速发展。阿莫代坚持自己此前的观点——今年到明年间就会出现 「一个能够在许多领域达到诺贝尔奖得主水平、完成人类所能做的一切的模型」。哈萨比斯更加谨慎，但也认为到 2030 年代末，AI 至少有 50% 的几率 「展现人类所有的认知能力」。
而两人背后的公司，也被视为这一快速发展进程中的翘楚，尤其 2025 年至今，谷歌和 Anthropic 凭借 Gemini 3 和 Claude Opus 4 等产品，成为了行业瞩目焦点。
阿莫代更是放话称，两家公司取得成功的要点，在于公司或承担研究功能的组织都是由研究人员领导的，他们专注于模型，专注于解决世界上的重要问题，并预言这类公司将在未来取得成功。
与之呼应的，阿莫代在当日接受 《华尔街日报》 采访时谈到，科学家运营的 AI 公司和社交媒体背景的领导者运营的公司有明显区别，后者在意商业激励、倾向影响消费者，但可能会逃避关键的责任。
这似乎是在暗指其前东家 OpenAI 的 CEO 萨姆·奥尔特曼 （Sam Altman）（曾创办过一家社交媒体），而 Meta 更是社交媒体领域的绝对霸主。
随着话题转入 AI 或 AGI 可能带来的风险，二者都给出了预警。
多项研究显示，AI 尚未对人类就业形成明显影响，甚至在创造新的岗位。不过，阿莫代和哈萨比斯都提示，从今年开始，人们可能就会看到 AI 对初级水平工作形成冲击。而随着 AI 能力的指数级成长，或许近在两年内，或许在 1-5 年内，或许在 5-10 年内，劳动力市场和经济体系的适应能力将遇到重大考验，甚至有被压垮的风险。
阿莫代去年表示，AI 会让一半的入门级白领工作岗位消失。在论坛现场，他仍坚持自己的看法，并称在软件和编程领域已经看到了这一趋势，Anthropic 内部也在考虑如何妥善处理类似问题。
哈萨比斯进而提示称，包括政府、经济学家等在内，人类社会对此的重视不足，所作的准备也 「远远不够」。
他提到，就近来说，随着 AI 影响就业，包括谷歌在内的科技巨头、AI 公司都有可能受到公众的抵制，面临更复杂的处境。而未来 5 到 10 年内，AI 或 AGI 带来的 「后稀缺」 社会将引发关于人类生命意义、行为目的和财富分配的深刻挑战。
阿莫代在接受 《华尔街日报》 采访时提到，人们面对的前景是实现 5% 到 10% 的 GDP 增长的同时，可能同时面临 10% 的失业率，政府必须要对大规模就业岗位流失承担责任、有所作为，否则将是 「人类社会的噩梦」。
此外，两人也对备受瞩目的地缘政治问题给出了自己的看法。阿莫代认为，大国间的竞赛可能成为 AI 风险的放大器，哈萨比斯则强调了国际协调和设置最低安全标准等的重要性。
两人当日还接受了彭博社等媒体的采访，并谈到了中美 AI 竞赛的问题。哈萨比斯称 DeepSeek 的确令人印象深刻，中国在 AI 前沿技术上或许只落后美国 6 个月，而非 1-2 年，但尚未证明自己能够超越前沿进行创新。阿莫迪则坚持自己的一贯观点，认为美国政府应继续限制对中国出售高端 AI 芯片。
对风险的讨论几乎贯穿甚至主导了整个圆桌的进程。当贝多丝希望两人用 15 秒的关于今年 AI 发展的关注和预测收尾时，阿莫代称，最值得关注的是 「用 AI 系统构建 AI 系统」，其进展将决定人类还需要几年才能实现 AGI。但他也同时提示，人类或许将面临一个必须应对的，机遇与巨大危机并存的前景。
哈萨比斯称，自己除此之外还关注世界模型、持续学习等的进展，并预测机器人技术可能会迎来爆发时刻。
以下为圆桌讨论实录，经钛媒体编辑翻译整理：
詹妮·贝多丝：欢迎大家，也欢迎正在观看直播的各位。我必须说，我们期待这次对话已有四个月了。我很幸运，去年在巴黎主持了两位之间的一场对话，可惜那场对话最引人注目的似乎是你们俩被挤在一张非常小的 「情人座」 上。而我当时坐在一张巨大的沙发上，这大概是我的安排失误。但我当时说过，这对我来说就像是和披头士乐队与滚石乐队一起聊天，而你们两位此前从未在台上对过话。所以，这次就像是传奇乐队的再次聚首。我非常高兴。两位也都无需再过多介绍了。
我们对话的主题是 「AGI 之后的一天」，我觉得这或许有点超前，因为我们可能应该先谈谈我们如何能快速、轻易地抵达 AGI。我想先就此做个更新，然后再谈谈其后果。
首先，关于时间线，去年在巴黎，达里奥说到 2026-2027 年，我们将拥有一个能够在许多领域达到诺贝尔奖得主水平、完成人类所能做的一切的模型。现在已经到了 2026 年，你仍然坚持那个时间线吗？
达里奥·阿莫代：你知道，要确切知道某事何时发生总是很难，但我不认为那个估计会偏差太远。我当时的设想是，我们将创造出擅长编码和人工智能研究的模型，并用它们来生产下一代模型，加速形成一个循环，从而加快模型开发的速度。
就目前而言，在编写代码的模型方面，Anthropic 内部有工程师说，他现在已经完全不写代码了，而是只让模型写代码，自己来编辑，并做周边的工作。我想，可能还需要 6 到 12 个月，模型就能完成软件工程师大部分、甚至全部端到端的工作。
然后问题就在于这个循环能多快闭合。并非这个循环的每个部分都能被 AI 加速，对吧？比如芯片制造、模型训练时间。所以，我认为这里面有很多不确定性，人们会觉得这可能还需要几年时间。但对我来说，很难想象这会需要比那更长的时间。如果非要我猜，我猜这会比人们想象的更快。编程以及日益加速的研究进展，将是关键驱动力。要预测这种指数级加速究竟有多快真的很难，但肯定会发生得很快。
詹妮·贝多丝：德米斯，你去年要稍微谨慎一些。你说到本年代末，有 50% 的几率会出现一个能够展现人类所有认知能力的系统。显然，在编程方面，正如达里奥所说，已经取得了惊人进展。你现在的看法如何？是否坚持自己的预测？据你观察，过去一年又发生了什么变化？
德米斯·哈萨比斯：是的，我仍然坚持大致相同的时间线。我认为已经取得了显著进展，但像工程、编程或者数学这类领域，似乎更容易看到如何实现自动化，部分原因是其结果可以验证。而一些自然科学领域则要困难得多。你未必能知道你预测的化学化合物或物理理论是否正确，可能必须通过实验来验证，这都需要更长的时间。
所以我也认为，目前还缺少一些能力。不仅仅是解决现有的猜想或问题，而是首先要能提出问题、形成理论或假设——我认为这要困难得多。我认为这是最高层次的科学创造力。
目前还不清楚我们是否将拥有这样的系统。我认为这并非不可能，但可能还缺少一两个要素。首先需要看看我们正在研究的这种自我改进循环，能否在没有人类干预的情况下真正闭合。顺便说一句，我认为这类系统也存在风险，我们应该讨论一下。我相信我们会谈到的，但如果这类系统真的奏效，那将加速进程。
詹妮·贝多丝：我们稍后会谈到风险。但过去一年还有一个变化，那就是这场竞赛的排名顺序发生了变化，如果可以这么说的话。一年前的这个时候，我们刚经历了 DeepSeek 时刻，所有人都对此感到无比兴奋。当时人们还有一种感觉，认为谷歌在某种程度上落后于 OpenAI。我想说，现在情况看起来大不相同了。OpenAI 已经因为你们发布了 「红色警报」，对吧？这是相当不平凡的一年。那么，具体来说，有什么让你感到惊讶？你们今年做得如何？然后我也想听听你对当前格局的看法。
德米斯·哈萨比斯：嗯，我一直非常有信心我们能重新回到排行榜的顶端，在各个领域拥有最先进的模型，因为我认为我们一直拥有最深、最广的研究人才储备。而关键在于如何整合这一切，让整个组织重新拥有那种强度和专注度，以及创业公司般的心态。
我们做了很多工作，虽然还有很多工作要做，但我开始看到进展，无论是 Gemini 3 大模型，还是在产品方面，Gemini 应用的市场份额在不断增加。所以我觉得我们正在取得巨大进展，但还有海量工作要做。我们正在利用 DeepMind 作为谷歌的 「引擎室」，习惯于更快地将我们的模型应用到产品服务中。
詹妮·贝多丝：达里奥，关于这方面我有个问题要问你，因为你们正在进行新一轮融资，估值也高得惊人。但你和他们不同，你们被称作 「独立模型厂商」。我认为，人们越来越担心独立模型公司可能无法坚持足够长的时间，直到盈利真正到来的那一天。外界对 OpenAI 也有公开的质疑。请谈谈你对此的看法，然后我们再回到 AGI 本身。
达里奥·阿莫代：是的，我们对此的看法是，随着我们构建的模型越来越好，不仅存在你投入模型的算力与其认知能力之间的指数关系，还存在其认知能力与它能够产生的收入之间的指数关系。所以，我们的收入在过去三年增长了 10 倍，从 2022 年的零收入，到 2023 年的 1 亿美元，2024 年的 3 亿到 10 亿美元，再到 2025 年的 10 亿到 100 亿美元。我不知道这条曲线是否会完全照此延续，如果真是那样就太疯狂了。但这些数字开始接近世界上最大公司的规模了。当然，总是存在不确定性。我们是从零开始创建这家公司的，这很疯狂。但我有信心，如果我们能产出我们专注领域中最优秀的模型，那么事情就会顺利发展。
总的来说，我认为这对谷歌和 Anthropic 来说都是不错的一年。实际上我们的共同点是，我们两家公司，或者说公司的研究部分，都是由研究人员领导的，他们专注于模型，专注于解决世界上的重要问题，对吧？这些困难的科学问题就像是我们的北极星。我认为这类公司将在未来取得成功。我们之间有着这种共同点。
詹妮·贝多丝：其实我很想问问你，那些不是由研究人员领导的公司会怎样，但我知道你不会回答。那么，我们现在进入预测环节。我们本应谈论 「AGI 之后的一天」，但还是先来谈谈闭环吧。你们获得能够形成闭环、实现自我驱动的模型的几率有多大？这似乎会造成 「赢家通吃」 的局面，你们认为我们很可能会看到这种情况吗？还是说这将成为一种更常规的技术，让追随者和追赶者也能竞争？
德米斯·哈萨比斯：我绝对认为这将是一种常规技术。我的意思是，正如达里奥提到的，有些方面已经显现，它已经在帮助我们的编程和一些研究工作。但完全的闭环，我认为还是个未知数，但有可能做到。你可能需要 AGI 本身才能在某些领域实现这一点。同样，在这些领域，情况更复杂，很难快速验证你的答案。那是更混乱的领域。顺便一提，AGI 还包括物理 AI、机器人技术等等，然后你还有硬件层面的限制，这可能会限制自我改进系统的运行速度。但在编程、数学这类领域，我们绝对能看到其发挥作用。而更具理论性的问题则是，工程和数学在解决自然科学方面的极限何在。
詹妮·贝多丝：达里奥，去年你发表了 《爱与恩典的机器》（Machines of Loving Grace），那是一篇非常乐观的文章，谈论了你看到的人工智能的潜力。你当时提到了一个 「天才数据集国家」 的概念，我听说你正在撰写一篇更新版的新文章。所以，各位，敬请期待。它还没发表，但即将面世。或许你可以给我们提前透露一下，你的主要观点会是什么。
达里奥·阿莫代：我的观点没有改变。我一直认为，人工智能将变得极其强大。我想德米斯和我都同意这一点。问题只在于确切的时间。因为它极其强大，它将完成所有这些奇妙的事情，就像我在 《爱与恩典的机器》 中谈到的，比如帮助我们治愈癌症，可能帮助我们根除热带疾病，帮助我们理解宇宙等。但同时，也存在巨大而严重的风险。我不是末日论者，我认为我们可以应对这些风险，但我们需要思考它们，需要解决它们。
我先写了 《爱与恩典的机器》。我想给出一个复杂的理由解释为何先写那篇，但其实只是因为写积极方面的文章比写消极方面的更容易、更有趣。所以，我终于在休假期间花时间写了一篇关于风险的文章。我是一个乐观的人，所以即使我在写风险的时候，也是以一种 「我们如何克服这些风险？我们如何制定作战计划来对抗它们？」 的角度来写的。
我用的框架是电影版 《超时空接触》 中的一个场景。他们发现了外星生命，一个国际小组正在面试，以选出人类代表去会见外星人。他们问其中一个候选人的一个问题是：如果你能问外星人一个问题，你会问什么？其中一个角色说：我会问，你们是如何做到的？你们如何在技术青春期没有毁灭自己？你们是如何度过的？自从我大约 20 年前看了那部电影，这个想法就深深印在我脑海里。这就是我使用的框架：我们正在敲响拥有这些不可思议能力的大门，基本上就是用沙子建造机器的能力。我认为，从我们开始使用火的那一刻起，这就是不可避免的。但重点在于我们如何应对它，风险并非不可避免。
因此，我认为未来几年，我们将面临如何控制这些高度自主、比任何人类都更智能的系统。如何确保个人不会滥用它们？我担心诸如生物恐怖主义之类的事情。如何确保国家不会滥用它？这就是为什么我一直如此关注相关政权的问题。
还有经济影响。我经常谈到劳动力置换，以及可能发生的事情。这在许多情况下可能是最难处理的事情。所以，我正在思考如何应对这些风险。对于每一个风险，都需要我们作为公司领导人各自去做一些事情，也需要我们共同努力去做一些事情。同时，还需要更广泛的社会机构，如政府，在应对所有这些方面发挥作用。我只是感到一种紧迫感，每天都是如此。在 AI 之外的外部世界，有各种各样疯狂的事情正在发生，对吧？但我的观点是，这一切发生得太快了，这是一场如此严重的危机，我们应该将几乎所有的精力都投入到思考如何度过这个时期上。
詹妮·贝多丝：我真不知道该更惊讶于哪一点，是你居然会休假，还是你休假时还在思考 AI 的风险？又或者你的文章框架竟是 「我们能否在不毁灭自己的情况下度过这项技术的青春期」？我的脑子有点转不过来了。
不过，你提到了几个可以引导我们接下来讨论的领域。我们先从工作说起，因为你对此一直直言不讳。你说过，未来一到五年内，一半的初级白领工作可能会消失。但我想就此问问德米斯，因为到目前为止，我们实际上还没有看到劳动力市场受到任何明显的影响。是的，美国失业率略有上升，但我看过的所有经济学研究以及我们的报道都表明，这是疫情后的过度招聘所致，并非 AI 驱动。如果说有什么影响的话，人们是在为构建 AI 能力而招聘。你认为这会像经济学家们一直论证的那样，并非 「劳动力总量固定」 的谬误，实际上会创造出新的工作吗？因为迄今为止的证据似乎指向这一点。
德米斯·哈萨比斯：我认为短期内会发生的情况是，当一项突破性技术出现时，一些工作会受到冲击，但我认为新的、可能更有价值、更有意义的工作将会被创造出来。我认为今年我们将开始看到对初级、入门级白领工作、实习等领域的初步影响。
我认为有一些证据。我们自己也能感受到。也许我们在那方面的招聘会放缓，但我认为，目前几乎对所有人免费开放的这些惊人的创意工具，可以更多地弥补这一点。如果我现在对一群本科生讲话，我会告诉他们要变得对这些工具异常熟练。我认为，甚至我们这些构建者都忙于构建，很难有时间去真正探索即使是今天的模型和产品已经具备的、更不用说明天的 「能力过剩」 了。这可能比传统的实习更好，能让你实现某种跨越，在专业领域变得有用。
所以，我认为在接下来的五年里，我看到的可能就是这种情况。也许我们在时间尺度上略有不同。但 AGI 到来之后会发生什么，那就是另一个问题了。那时，我们将真正进入未知领域。
詹妮·贝多丝：达里奥，你是否认为这会比你去年说 「一半的白领工作」 时所想的时间要长？
达里奥·阿莫代：不，我的看法基本相同。实际上我同意你和德米斯的观点。在我发表那个评论的时候，劳动力市场还没有受到影响。我当时不是说那时已经产生了影响。
现在我想我们可能开始看到一点点苗头，比如在编程领域。甚至在 Anthropic 内部，我也能看到，我可以预见在未来，在初级层面，甚至在中级层面，我们实际上需要的人会越来越少，而不是越来越多。我们正在思考如何在 Anthropic 内部以合理的方式处理这个问题。至于一到五年这个时间范围，如果是六个月前，我会坚持那个看法。
如果你把这和我之前说的联系起来——即我们可能在一到两年内，或者稍长一点时间，拥有在各方面都比人类更优秀的人工智能——那么这两者似乎并不一致。
原因是存在滞后性和替代过程，我知道劳动力市场是有适应性的。就像过去 80% 的人从事农业，农业自动化后，他们成了工厂工人，然后是知识工作者。所以，这里也存在一定程度的适应性。我们应该对劳动力市场如何运作有经济学的、复杂的理解。但我担心的是，随着指数级增长持续加速，我认为这不会花太长时间，可能仍在一到五年之间，它将压垮我们的适应能力。我想我可能和德米斯说的是同一件事，只是排除了我们在时间线上的一些分歧，我认为这最终归结于你多快能实现闭环。
詹妮·贝多丝：你们有多大信心认为政府能认识到这个问题的规模，并开始思考他们需要什么样的政策应对？
德米斯·哈萨比斯：我认为政府在这方面所做的工作远远不够。我常常感到惊讶，即使是在这样的场合遇到经济学家，也没有更多的专业经济学教授在思考将会发生什么——不仅仅是通向 AGI 的道路上，甚至包括如果我们把达里奥谈到的所有技术问题都处理好之后会面临的问题。工作置换是一个问题，我们都担心其经济影响。但也许有办法更公平地分配这种新的生产力、新的财富。我不知道我们是否有合适的制度来做到这一点，但这正是应该发生的。
到那时，我们可能会进入一个后稀缺世界。但即便如此，还有那些让我夜不能寐的更宏大的问题，关系到意义、目的，我们很多人从工作中获得的不仅仅是经济回报。这是一个问题。但奇怪的是，这可能比解决人类整体状况和人性问题要容易一些。我同样乐观地认为我们会找到解决办法。我们今天做的很多事情，从极限运动到艺术，并不一定直接与经济收益相关。所以我想我们会找到意义，也许会有更复杂版本的活动，再加上我认为我们将探索更广泛的世界。作为目标，所有这些都将被考虑在内。但我认为，即使按照五到十年的时间线，离那一刻到来也没有多少时间了，现在真的需要开始思考了。
詹妮·贝多丝：你认为出现公众对 AI 的强烈抵制，从而导致政府做出从你的角度来看可能是愚蠢行为的风险有多大？因为我回想起 20 世纪 90 年代的全球化时代，当时确实有一些工作岗位流失，政府做得不够，公众的强烈抵制最终导致了我们现在所处的局面。你是否认为存在一种风险，即在政治体中会出现对你们和你们公司所做之事日益增长的敌意？
德米斯·哈萨比斯：我认为绝对存在风险。我认为这种担忧是合理的。人们对工作、生计等问题存在恐惧和担忧。我认为有几件事在未来几年可能会非常复杂，包括地缘政治等问题。
比如我们想要并且正努力通过 AlphaFold 和我们的科学工作、我们的衍生公司 Isomorphic Labs 去实现的目标——解决所有疾病、治愈疾病、开发新能源。作为一个社会，显然我们想要这些。但我认为或许整个行业的活动平衡性不够偏向这类活动，我认为应该有更多像 AlphaFold 这样明确给世界带来益处的例子。
我们需要更多像 AlphaFold 这样的事物。我认为，实际上，整个行业和我们所有领先的参与者都有责任更多地展示、证明这一点，而不仅仅是谈论。但同时，它也会带来这些意想不到的干扰。另一个问题是地缘政治竞争。显然，有公司之间的竞争，但主要还是美国和中国之间的竞争。或许有组织来推动国际合作或理解会更好，例如就部署的最低安全标准达成一致，我认为这实际上是很有必要的——这项技术将是跨国界的，它将影响每个人，影响全人类。
实际上，《超时空接触》 也是我最喜欢的电影之一。说起来有点巧，我没想到你也喜欢。总之，我认为这类事情需要解决。如果我们能做到，也许比我们当前预测的、甚至比我的时间线稍慢一点的进度，对社会来说可能是好事，这样我们可以把事情做对，但这需要协调。
达里奥·阿莫代：你的时间表让步了。
詹妮·贝多丝：好吧，达里奥，现在让我们也来谈谈这个，因为自从我们上次在巴黎交谈以来，地缘政治环境如果说有什么变化的话，那就是更加复杂、疯狂了，无论你想用什么词来形容。
其次，美国现在对中国的态度非常不同。那是一种更无保留的、尽可能快的竞争态度，但仍然向中国出售芯片。另外，现在美国和欧洲之间的关系也变得非常奇怪。在现实世界中，地缘政治风险是否增加了？你认为应该为此做些什么？美国政府在做的似乎与你的建议相反。
达里奥·阿莫代：我们只是尽力在我们所处的环境中做到最好，不管这环境有多疯狂。但至少我的政策建议没有改变。不销售芯片是我们能做的、确保我们有时间处理此事的最重要的事情之一。我之前说过，我更喜欢德米斯的时间线，我希望我们有五到十年的时间。可能他是对的，而我是错的。但假设我是对的，它可能在一到两年内实现，那我们为什么不能放慢到德米斯的时间线呢？
实际上，我们不能这样做的原因，正因为我们的地缘政治对手正在以相似的速度构建同样的技术。很难达成一个可执行的协议，让他们放慢速度，而我们也放慢速度。所以，如果我们只是不出售芯片，那么这就不是美国和中国之间的竞争问题，而是我和德米斯之间的竞争问题，我非常有信心我们能解决这个问题。
詹妮·贝多丝：你对政府的逻辑怎么看？据我理解，他们认为我们需要销售芯片，因为我们需要将中国绑定在美国的供应链上。
达里奥·阿莫代：我认为这不仅是时间尺度的问题，更是技术重要性的问题。如果这只是电信或其他什么技术，那么关于推广美国技术栈、确保世界各地的数据中心使用英伟达芯片而不是华为芯片等所有说法，也许都成立。但有关 AI 芯片的决定不一样……我认为所有限制措施远不如禁售芯片有效。
詹妮·贝多丝：我们继续往下推进。末日论者担心的另一个潜在风险是一种全能的、恶意的 AI。我认为你们两位都对末日论者持一定的怀疑态度。但在过去的一年里，我们看到这些模型表现出欺骗、表里不一的能力。你们现在对这个风险的看法是否与一年前不同？模型的发展方式是否有让我们应该更加关注的地方？
达里奥·阿莫代：是的，自从 Anthropic 成立之初，我们就一直在思考这种风险。我们最初的研究是非常理论化的。我们开创了 「机械可解释性」 的概念，即深入模型内部，试图理解它为什么做它所做的事，就像人类神经科学家试图理解大脑一样，我和德米斯都有这个背景。随着时间的推移，我们越来越多地记录了模型出现时的恶意行为，并正在努力通过机械可解释性来解决它们。
所以，我一直很担心这些风险。我和德米斯谈过很多次。我想他也一直担心这些风险。我肯定一直是，而且我猜德米斯也是，对末日论持怀疑态度——即我们注定要完蛋，我们无能为力，或者这是最可能的结果。我认为这是一个风险，但如果我们共同努力，我们可以应对。我们可以通过科学来学习如何妥善控制和引导我们正在构建的这些创造物。但如果我们构建得很糟糕，如果我们都全速竞赛，快到没有任何防护栏，那么我认为确实有出问题的风险。
詹妮·贝多丝：德米斯，我给你一个机会，在一个更广泛一点的背景下回答这个问题：在过去的一年里，你对这项技术在科学等所有你们谈论很多的领域的上行潜力是更有信心了，还是对我们讨论的风险更担忧了？
德米斯·哈萨比斯：我研究 AI 已经超过 20 年了。我整个职业生涯都投身于 AI，正是因为它的上行潜力——解决终极科学工具、理解我们周围宇宙的潜力。我从小就对这着迷。构建 AI 应该是实现这一目标的终极工具，如果我们做得对的话。
关于风险，我们也从一开始就在思考，至少从 DeepMind 成立 15 年前就开始。我们预见到，如果你获得了上行潜力，它就是一种双重用途的技术。所以，它可能被坏人重新用于有害目的。因此，我们一直需要思考这个问题。
但我坚信人类的聪明才智。问题在于是否有时间、专注度，以及所有最优秀的人才共同合作来解决这些问题。我相信如果我们有这些条件，我们就能解决技术风险问题。但如果我们没有，那么风险就会出现，因为我们会变得分散，会有不同的项目，人们会互相竞争。那样就很难确保我们产出的系统在技术上是安全的。但我觉得，如果给你时间，这是一个非常容易处理的问题。
詹妮·贝多丝：我想确保还有一个提问机会。先生们，请简短回答，因为我们只剩两分钟了。
提问者：谢谢。大家好，我是菲利普，Star Cloud 的联合创始人，我们在太空建造数据中心。我想问一个略带哲学色彩的问题。对我来说，对末日论最强有力的论据是费米悖论，即我们在银河系中看不到智慧生命。我想知道你们对此有何看法。
德米斯·哈萨比斯：关于这个问题，我思考过很多。有关费米悖论的一个观点是如果我们看不到外星人，是因为他们被自己的技术消灭了，那么我们应该看到来自银河系某处的、由 AI 建造的 「纸夹」 或其他结构向我们涌来，但显然我们没有看到任何戴森球之类的结构，无论是 AI 建造的还是自然的生物文明建造的。
所以对我来说，必须有不同的答案来解释那个悖论。我自己对此有看法，但这超出了接下来一分钟的讨论范围。我只是觉得，我的预测和感觉是，我们已经越过了 「大过滤器」。至于接下来会发生什么，我认为这将由我们人类自己来书写。
詹妮·贝多丝：这可以是一个很棒的讨论，但超出了接下来的时间范围。最后，每人再给出 15 秒的发言吧，当明年我们三人再次见面时，到那时什么将会改变？
达里奥·阿莫代：我认为最值得关注的是 「AI 系统构建 AI 系统」 这个问题。其进展如何，将决定我们是还需要几年才能到达 AGI，还是我们将面临一个必须应对的，机遇与巨大危机并存的前景。
德米斯·哈萨比斯：我同意。所以我们正就此保持密切沟通。但除此之外，我认为还有其他有趣的研究方向，比如世界模型、持续学习等。我认为如果自我改进本身不能完全实现目标，那么我们需要这些其他方面取得突破。另外，我认为机器人技术可能会迎来它的爆发时刻。
詹妮·贝多丝：但根据你刚才所说的，也许我们都应该希望这确实需要更长一点时间，对所有人都如此。
德米斯·哈萨比斯：我倾向于那样。我认为这对世界会更好。
詹妮·贝多丝：你们可以做点什么来影响它，谢谢两位。（作者｜胡珈萌，编辑｜李程程）
