LMArena

LMArena.ai（chatbot arena）是一个面向大模型的众包 AI 基准测试平台，玩法围绕匿名对战投票展开。它把不同机构、不同版本的语言模型放进同一个对话界面，让真实用户去提问、比对、投票，再由这些偏好数据汇总成排名。与依赖固定题库的自动跑分不同，这里的名次来自大量普通人的实际使用感受，更接近模型在真实提问下的表现，因此常被当成观察大模型能力变化的一个参考窗口。

• 官网入口：https://lmarena.ai/

评测机制

• 匿名对战：同一个问题会随机分给两个未标注名称的模型，回答完成后再揭晓身份，减少品牌带来的先入为主。
• 众包投票：用户看完两边回答后选出更满意的一方，单票权重有限，但累计票量已达百万级别。
• Elo 评分：每场对战的胜负会换算成分数变化，长期累积成可比较的排行榜，方便观察位次浮动。
• 免费使用：多种模型可以直接调用，不需要订阅付费就能逐一测试它们的表现。

适用场景

• 研究选型：需要判断几个模型在同类任务上谁更稳时，可以用同一批问题跑一轮对战做参考。
• 模型开发：开发者能借助人类偏好数据判断优化方向，而不是只盯着一项自动指标。
• 教学演示：课堂上做模型能力对比，投票过程和排行榜结果都比较直观。
• 日常试用：普通用户想挑一个顺手的对话模型，也可以先在这里试几个再决定。

LMArena 由加州大学伯克利分校 SkyLab、LMSYS 等团队推动，评估口径对外公开，投票数据也向社区开放，这也是它在学界和工业界被反复引用的原因。想横向比较模型、又不想为每个平台单独付费的话，这个以匿名对战投票为核心的众包 AI 基准测试平台值得打开看看。