谁是 AI 之王？聊聊备受争议的 AI 评测与崛起的 LMArena

文 | 硅谷 101

在大模型激战的当下，究竟谁更强？是 OpenAI 的 GPT，还是 Anthropic 的 Claude？是谷歌的 Gemini，还是中国的 DeepSeek？

当 AI 模型排行榜开始被各种刷分作弊之后，谁家大模型最牛这个问题就变得非常主观，直到一家线上排行榜诞生，它叫：LMArena。

在文字、视觉、搜索、文生图、文生视频等不同的 AI 大模型细分领域，LMArena 上每天都有上千场的实时对战，由普通用户来匿名投票选出哪一方的回答更好。最近以来，很多 AI 研究者都纷纷发声，认为大模型竞赛的下半场，最重要的事情之一就是重新思考模型评估。

因为当技术创新趋于饱和，真正拉开差距的，可能将不再是谁的参数更多、推理更快，而是谁能更准确地衡量、理解模型的智能边界。

在大模型评测上，传统的 Benchmark（基准测试） 究竟存在什么问题，是已经过时了吗？LMArena 的竞技场模式为什么会被视为一种新的标准？它的技术机制、公平性和商业化隐藏着怎样的挑战？而下一代的大模型评测，又可能会走向哪里？

01 题库泄露、数据污染：传统 Benchmark 为何失灵？

在 LMArena 之前，AI 大模型是怎么被评估的呢？方式其实非常 「传统」。研究者们通常会准备一组固定的题库，比如 MMLU、BIG-Bench、HellaSwag 等等。这些名字普通人看起来很陌生，但在 AI 学术界几乎家喻户晓。

这些题库涵盖学科、语言、常识推理等多个维度，通过让不同模型作答，再根据答对率或得分来对模型进行比较。

比如 MMLU，全称是 「Massive Multitask Language Understanding」，它涵盖了从高中到博士级别的 57 个知识领域，包括历史、医学、法律、数学、哲学等等，模型既需要回答像 「神经网络中的梯度消失问题如何解决」 的技术问题，也需要回答 「美国宪法第十四修正案的核心内容是什么」 的社会科学问题，学科跨度很大。

BIG-Bench 更偏向推理和创造力，比如让模型解释冷笑话、续写诗歌或完成逻辑填空。HellaSwag 则专门用来测试模型对日常情境的理解能力，比如 「一个人正在打开冰箱，接下来最可能发生什么？」 等等。

这些 Benchmark 在过去二十年几乎主导了整个 AI 研究领域。它们的优点显而易见：标准统一、结果可复现。学术论文只要能在相关公开数据集上刷新分数，就意味着 「性能更强」。而 AI 的上半场也正是在这种 「比成绩」 的节奏下高速发展起来的。

但这些早期的 Benchmark 是静态的，多以单轮问答、选择题形式为主，题目结构简单、评测维度明确，便于统一打分和横向比较。

然而，当模型的能力越来越强、训练数据越来越庞大时，这些 Benchmark 的局限开始显现。

首先是 「题库泄漏」，很多测试题早就出现在模型的训练语料里。于是，一个模型在这些测试上得分再高，也不代表它真的 「理解」 了问题，只能说明它 「记住」 了答案。

其次，Benchmark 永远测不出模型在真实交互中的表现，它更像是一场封闭的考试，而不是一次开放的对话。

华盛顿大学助理教授、英伟达首席研究科学家，同时也是 LMArena 早期框架搭建参与者朱邦华在采访中表示，正是因为传统的静态 Benchmark 所存在的过拟合、数据污染等问题，才催生出了 Arena 这种新的模型测评方式的出现。

朱邦华

华盛顿大学助理教授

英伟达首席研究科学家：

当时比较流行的几个 Benchmark，比如 Math500、MMLU，有几个问题。

大家非常容易 overfit（过拟合），比如一共就有几百个问题，我如果都有 ground truth（标准答案），而且我都有训练在 ground truth（标准答案） 上，虽然有一些所谓的 contamination detection method（污染检测方式），但其实这个是比较难真的百分之百做到 detection（检测）。所以这种 static benchmark（静态基准），一是数量很少，二是大家可能覆盖面不太够，它可能就有最简单的数学，最简单的一些基础知识，然后最简单的一些代码生成，像 HumanEval 这种。

当时的 Benchmark 数量少，同时 coverage（覆盖面） 也不太好的情况下，Arena 就作为一个非常独特的 Benchmark 出现了，因为它每一个问题都是 unique（独特的），它可能是世界各地的人问， 可能是俄罗斯或者越南的人在问你这样一个问题，同时他问的问题真的就是随时随地、当时当地去想的一个问题，所以这个事就很难去在当时 overfit（过拟合），尤其是在当时大家都没有 Arena 数据的时候。

02 从伯克利实验室到全球擂台赛，LMArena 如何运作？

2023 年 5 月，LMArena 的雏形诞生于由全球顶尖学府组成的非营利性开放研究组织 LMSYS。核心成员包括 Lianmin Zheng、Ying Sheng、Wei-Lin Chiang 等人。

当时他们刚刚发布了开源模型 Vicuna，而斯坦福大学在此之前也推出了另一个类似的，叫 Alpaca。因为这两个模型都是基于大型语言模型进行微调的开源项目，于是 LMSYS 的团队想知道，从性能和表现上来看，究竟谁更胜一筹？

当时并没有合适的评测方法能回答这个问题。LMSYS 团队尝试了两种方法：

一是尝试让 GPT-3.5 作为评委，对不同模型生成的答案打 0 到 10 分，这种方法后来演化成 MT-Bench（Model-Test Benchmark）。

另一种方式是采用人类比较 （Pairwise Comparison），即随机挑选两个模型，针对同一个问题分别生成回答，再让人类评审选择哪一个更好。

最终，第二种方式被证明更可靠，并由此诞生了 Arena 的核心机制。

基于此，他们首先搭建了一个实验性网站 Chatbot Arena，也就是今天的 LMArena 的前身。在传统的基准测试里，模型是在预设题库中答题，而在 Chatbot Arena 上，它们则要 「上场打擂台」。

当用户输入一个问题后，系统会随机分配两个模型，比如 GPT-4 和 Claude，但用户并不知道自己面对的是谁。两边模型几乎同时生成回答，用户只需投票：左边好，还是右边好？等投票完成后，系统才会揭示它们的真实身份。这个过程被称作 「匿名对战」。

投票结束后，系统基于 Bradley–Terry 模型实现 Elo 式评分机制，分数会根据胜负实时变化，从而形成一个动态排行榜。

Elo 排名机制最早来自国际象棋。 每个模型都有一个初始分数，每次赢一场就涨分，输一场就扣分。随着对战次数增加，分数会逐渐收敛最终形成一个动态的模型排行榜。

这种机制的妙处在于，它让评测变成了一场 「真实世界的动态实验」，而不再是一次性的闭卷考试。除此之外，LMArena 不仅仅只是 「让模型打架」，它背后还有一个独特的 「人机协同评估框架」。

这个框架的逻辑是用人类投票去捕捉 「真实偏好」，再通过算法去保证 「统计公平」。平台会自动平衡模型的出场频率、任务类型和样本分布，防止某个模型因为曝光量大而被 「高估」。 换句话说，它让评测既开放又可控。更重要的是，Chatbot Arena 的所有数据和算法都是开源的，任何人都可以复现或分析结果。

作为 LMArena 早期搭建的核心参与者，朱邦华告诉我们，LMArena 的技术本身并不是新算法，更多的是经典统计方法的工程化实现。它的创新点不在于模型本身，而在于系统架构与调度机制。

朱邦华

华盛顿大学助理教授

英伟达首席研究科学家：

一方面，虽然这个 Bradley–Terry Model 本身没有什么太多技术上的新的东西，但是你怎么选模型这个事是比较新的，是大家摸索出来的。

现在假设有 100 个模型，我想了解到底哪个更好，你其实需要一些 active learning（主动学习）。假设我选了一些模型出来，已经知道它们大概怎么样了，那接下来选模型就应该选一些更不确定的模型，然后去做比较。怎么去 dynamically（动态） 选出更适合来对比的模型，是我们当时探索比较多的事儿。当时我们做了一些相关的系列研究，又去做了一些实验性研究，去比较一下怎么去调这些不同的参数，能让更好的模型被选出来，这是 LMArena 成功的一个因素。

我个人觉得这种项目可能还有一些时机和运气的成分在里面。因为当时大家都需要很好的评估基准，这时人类偏好又完全没有被 saturated（饱和）。那时的人类偏好确实比较真实地反应模型本身的能力，所以在那个时候，我觉得 Arena 作为这个行业的 gold benchmark（黄金基准） 是非常合理的。

LMArena 这种 「匿名对战 + 动态评分」 的方式，被认为是从静态 Benchmark 向动态评测的一次跃迁。它不再追求一个最终分数，而是让评测变成一场持续发生的 「真实世界实验」。

它就像是一个实时运行的 AI 智能观测站。在这里，模型的优劣不再由研究者定义，而是由成千上万用户的选择来共同决定。

2023 年 12 月底，前特斯拉 AI 总监、OpenAI 早期成员 Andrej Karpathy 在 X（推特） 上发了一条关于 LMArena 的推文，称 「目前他只信任两个 LLM 评测方式：Chatbot Arena 和 r/LocalLlama」，给 Chatbot ArenaI 社区中收获到了第一批 「流量」。

2023 年底到 2024 年初， 随着 GPT-4、Claude、Gemini、Mistral、DeepSeek 等模型的陆续接入 Chatbot Arena，平台的访问量迅速增长。研究者、开发者、甚至普通用户，都在这里观察模型的 「真实表现」。

到了 2024 年底，平台的功能和评测任务开始扩展，除了语言模型的对话任务，团队还逐渐涉及到了大模型的 「细分赛道」，陆续上线了专注代码生成的 Code Arena、专注搜索评估的 Search Arena、专注多模态图像理解的 Image Arena 等子平台。

为了体现评测范围的扩展，平台也在 2025 年 1 月正式从 Chatbot Arena 更名为 LMArena（Large Model Arena）。几个月前，谷歌 Nano Bnana 的爆火也是让更多普通用户关注到了 LMArena。至此，LMArena 从一个研究者间的小众项目，彻底成为 AI 圈乃至公众视野中的 「大模型竞技舞台」。

不久前爆火的谷歌最新文生图模型 Nano Banana，它其实最早以神秘代号出现、并引发 「破圈式」 关注的地方就是 LMArena。

最近网友们发现谷歌又故技重施，传闻已久的 Gemini 3.0 被发现已经出现在了 LMArena 上。 根据网友们的测试反馈，Gemini3.0 Pro 的代号应该是 lithiumflow，而 Gemini 3.0 Flash 是 orionmist。据说能 「读表」、能作曲和演奏，能力再一次全方位飞升。

不难看出，在正式发布新模型前，让它们在 LMArena 上跑一跑，似乎已经成为了谷歌的惯例操作。而实际上，各家模型其实早就已经把 LMArena 当作了 「常规赛场 「，用来测试普通用户最真实的反馈。

除了 Google，OpenAI、Anthropic、Llama、DeepSeek、混元、千问……几乎所有的头部模型都在 LMArena「打擂台」。

03 刷榜、偏见与资本：LMArena 光环之下的 「公平性」 危机

LMArena 的火爆，让它几乎成了大模型评测的 「非官方标准」，但和所有新的实验一样，随着光环越来越大，它也受到了越来越多的质疑。

首先是公平性问题。在 LMArena 的匿名对战机制中，用户的投票结果直接决定模型的 Elo 排名，然而，这种 「人类评判」 的方式，并不总是中立的。

不同语言背景、文化偏好甚至个人使用习惯，都会影响投票结果。 一些研究发现，用户更倾向于选择 「语气自然」「回答冗长」 的模型，而不一定是逻辑最严谨、信息最准确的那一个。这意味着，模型可能因为 「讨人喜欢」 而获胜，而非真的更聪明。

2025 年初，来自 Cohere、斯坦福大学以及多家研究机构的团队联合发布了一篇研究论文，系统分析了 LMArena 的投票机制与数据分布。研究指出，Arena 的结果与传统 benchmark 分数之间并非强相关，而且存在 「话题偏差」 与 「地区偏差」，也就是说不同类型的问题、或不同用户群体的投票，可能显著改变模型的排名。

此外，还有 「游戏化」 与 「过拟合」 的问题。当 LMArena 的排名被广泛引用、甚至被媒体视为模型能力的 「权威榜单」 时，一些公司开始为 「上榜」 专门优化模型的回答风格。比如更积极地使用模糊语气、提升字数密度、或在提示工程上精细调教，以希望 「赢得投票」。

Cohere 的那篇研究论文就明确指出，大型供应商在获取用户数据方面拥有显著优势。通过 API 接口，它们能够收集到大量的用户与模型交互的数据，包括提示和偏好设置。

然而，这些数据并未被公平地共享，62.8% 的所有数据都流向了特定的模型提供商。比如 Google 和 OpenAI 的模型分别获得了 Arena 上约 19.1% 和 20.2% 的全部用户对战数据，而其他 83 个开源模型的总数据占比仅为 29.7%。

这使得专用模型供应商能够利用更多的数据进行优化，甚至可能针对 LMArena 平台进行专门优化，导致过度拟合特定指标，从而提升排名。

一个典型例子是 Meta 的 「刷榜事件」。今年 4 月，Meta 在 LMArena 上提交的 Llama 4 Maverick 模型版本，表现超越 GPT-4o 与 Claude，跃居榜单第二。但随着 Llama 4 大模型开源版上线，开发者们发现其真实效果的表现并不好，因此质疑 Meta 疑似给 LMArena 提供了经过专门针对投票机制的优化的 「专供版」 模型，导致 Llama 4 的口碑急转直下。

舆论爆发后，LMArena 官方更新了排行榜政策，要求厂商披露模型版本与配置，以确保未来评估的公平性和可重复性，并将把公开的 Hugging Face 版本的 Llama 4 Maverick 加入排行榜进行重新评估，但事件仍然在当时引发了业内关于 「评测公正性」 的激烈讨论。

除了系统和技术上的挑战，LMArena 的商业化也让它的中立性受到质疑。

2025 年 5 月，LMArena 背后的团队正式注册公司 「Arena Intelligence Inc.」，并宣布完成 1 亿美元种子轮融资，投资方包括 a16z、UC Investments 和 Lightspeed 等。

这也意味着，LMArena 正式从一个开源研究项目，转变为具备商业化运营能力的企业。公司化后，平台可能开始探索数据分析、定制化评测和企业级报告等商业服务。

这一转变，也让业界开始担忧，当资本介入、客户需求与市场压力叠加时，LMArena 是否还能保持最初 「开放」 与 「中立」 ？它的角色是否会从 「裁判」 变成 「利益相关方」？

在 LMArena 之后，大模型评测似乎进入了一个新的拐点。它解决了过去 Benchmark 静态、封闭的问题，却也暴露出新的矛盾。那就是当评测数据、用户偏好、甚至投票机制，都可能成为商业竞争的一部分，我们该如何界定 「公平」？究竟什么样的模型评估方式，才是当前所需要的呢？

04 从 「实战」 到 「动静结合」，未来评测走向何方？

实际上，LMArena 的出现，并不意味着传统的 Benchmark 已经过时。在它之外，静态的 Benchmark 仍然在持续演化。

近几年来，基于传统的 Benchmark，研究者陆续推出了难度更高的版本，比如 MMLU Pro、BIG-Bench-Hard 等。 此外，一些全新的、聚焦于细分领域的 Benchmark 也在被不断创造出来，比如数学与逻辑领域的 AIME 2025、编程领域的 SWE-Bench、多智能体领域的 AgentBench 等等。

这些新的 Benchmark，不再只是 「考知识」，而是在模拟模型在真实世界中的工作方式。从过去单一的考试题集，演化为了一个庞大而多层次的体系：有的评推理，有的测代码，有的考记忆与交互。

与此同时，评测也正在进一步走向 「真实世界」。比如最近一家名为 Alpha Arena 的新平台就引发了大量关注。它由创业公司 nof1.ai 推出，在首轮活动中，平台选取了 Deepseek、Genimi、GPT、Claud、Gork 和千问等六大模型在真实的加密货币交易市场中进行对战。

它给了每个模型相同的资金和 Prompt，让它们独立决策和交易，最终以实际收益和策略稳定性作为评测依据。结果是：DeepSeek 竟然赢了！不愧是量化基金母公司下面做出来的 AI 模型。

虽然这个对战更多是 「噱头」 为主，大语言模型去预测股市现在还是非常不靠谱的，但 Alpha Arena 的这种 「实战式评测」 再一次跳出了传统的题库和问答框架，让模型在动态、对抗的环境中被检验，被视为是继 LMArena 之后，又一次尝试让 AI 在开放世界中接受考验的实验。

不过，Alpha Arena 更偏向特定任务领域的真实验证， 其结果也更难复现与量化。

实际上，这些 Arena 出现的意义，也并非是要取代静态 Benchmark，而是为这个体系提供一面镜子，试图把静态测试中难以衡量的人类偏好与语义细节，重新引入到评测系统中。

也就是说，未来的模型评估，不再是静态 Benchmark 和 Arena 之间的二选一，而更可能是一种融合式的评测框架。静态 benchmark 负责提供可复现、可量化的标准；而 Arena 负责提供动态、开放、面向真实交互的验证。两者结合，进而构成衡量智能的完整坐标系。

在这个评估体系中，目前最重要、也具挑战的部分是什么呢？朱邦华认为，随着大模型能力提升，原有测试集 「太简单」 的问题愈发突出，Arena 的自动难度过滤提出了阶段性解决方案，但真正的方向是由人类专家与强化学习环境共同推动的高难度数据建设。

朱邦华

华盛顿大学助理教授

英伟达首席研究科学家：

之前包括 Arena 在内，大家会抱怨一个问题：简单的问题太多了。随着模型变得越来越强，「简单」 的定义也会变得越来越大，可能越来越多的 prompt 都属于是 easy prompt。

所以当时 Arena 出了一个 Hard Filter Version（难度过滤版），它直接问模型说哪一个更难，然后去筛选一些 hard prompt 出来。现在随着 thinking model（具备显式思维链的模型） 的引入，也随着大家接着用 RL（强化学习） 训练各种各样的模型，这个原来难的问题、原来难的 prompt 现在也不是特别难了。

所以这个时候可能就更需要人类专家，去标各种各样更难的数据作为 Benchmark（基准测试），这也是我们作为模型开发者正在做的事儿。如果你看的 Grok 4，它们可能做 Pretraining-scale RL（预训练规模强化学习）。一方面你的 RL 数据就得非常多，另一方面，如果你 RL 数据都是用非常简单的数据，那其实对模型不会有任何提升，所以你需要大量的、非常困难的数据。

包括我现在在英伟达做的一个事，也是想做一个 RL Environment Hub（强化学习环境平台），让大家去创造更多更难的这种环境进来，能让更多人来用 RL 去训练它。

朱邦华谈到，大模型评估的未来，不会是线性的改进，而是螺旋式的共演。一边是不断变强的模型，另一边是不断变难的评测。模型的突破，迫使评测体系升级；而新的评测，又反过来定义了模型的能力边界。而高质量的数据成为了连接两者的中轴。

朱邦华

华盛顿大学助理教授

英伟达首席研究科学家:

RL 和 Evaluation（评测），或者说 Training（训练） 和 Evaluation（评测） 就像是双螺旋的感觉，一方面 Training 训练） 不断地让模型变强，然后你就会有更难的基准测试出来说：你现在的这个模型还不行。然后，你就会提升你的训练，比如说环境的难度，或者是你找更好的 model architecture（模型架构）、更好的算法，然后把模型能力再提升，你可能就需要更难的评测。现在似乎就已经到了，大家这两步都得慢慢不断地找人类专家来去标的程度。

现在大部分 RL Environment Labeling（强化学习环境标注） 的工作他们都会去找博士级别的人，比如顶尖的 Math PhD（数学博士）、顶尖的 CS PhD（计算机科学博士） 去标 math coding data（数学代码数据），然后这个数据卖的也非常贵，一条可能就是几千美元的水平。所以现在大家慢慢的都偏向找这种 expert data（专家数据），能够让 GPT-5 或者是其他顶尖模型都没有办法回答或者回答错的数据，通过这种方式来构造更难的 Training data（训练数据） 和 Evaluation data（评估数据）。

除了数据质量至关重要之外，朱邦华还认为，研究者不仅要 「造 benchmark」，更要学会 「选 benchmark」。如何在成百上千个数据集中进行筛选、组合与聚合，建立一个兼顾统计有效性与人类偏好的聚合框架，也将是接下来几年重要的工作方向。

正如 OpenAI 的研究员姚顺雨在他的博客 《The Second Half》 中写道：AI 的上半场，是关于 「如何训练模型」；而下半场，则是 「如何定义与衡量智能」。如今，评测不再只是 AI 模型性能的终点，而正在成为 AI 向前发展的 「核心科学」。

究竟什么样的评估方法才是最优的，或许我们目前还无法下定论。但能够预见的是，这将是一场持续进行的实验：我们需要在成百上千个 benchmark 中找到那些真正有价值的任务，然后在类似于 LMArena 这样的 「竞技场」 中去捕捉人类偏好的信号，最后再将它们结合成一个动态、开放、可信的智能测量体系。

也许在那一天，我们不再需要问 「哪个模型最强？」 而是去真正探索 「智能，究竟是什么？」 欢迎大家给我们留言，你们觉得 LMArena 的方式是否是衡量模型的最好标准？