← AI 术语表

AI 术语表 · 入门 · 数据与评测

排行榜

排行榜是用同一套基准测试或用户投票来评估多个 AI 模型,并以排名表的形式展示结果。在挑选模型时,它像一张地图,帮助筛选出第一批候选。

关于这个术语
难度
入门 · 写给初次接触者的核心概念
加入时间
2026-10-12
通俗解释 它就像餐厅排名网站。初到一个地方时用来挑选候选餐厅很方便,但是否合自己的口味和预算,还得亲自尝过才知道。

工作原理

排行榜大致有两种方式。一种是让所有模型做同一套固定的试题(基准测试)并打分。另一种是像 LMArena 那样,让人们匿名比较两个模型对同一问题的回答并投票,再汇总结果计算分数(评分)。前者容易复现,后者更接近真实用户的感受。

在哪里会看到

有 Hugging Face 的排行榜空间、LMArena 这类投票型网站,以及编程、数学、搜索等特定领域的排行榜。发布模型的公司也经常在博客或模型卡中引用排行榜的排名和分数。排名表上通常会同时列出模型名称、分数、置信区间或投票数,以及许可证信息。理解排名时,与其盯着“唯一的第一名”,不如关注“排名靠前的一组”。

注意事项

如果分数差距很小,即使排名发生变化,实际差异也可能几乎不存在。试题混入训练数据造成的数据污染,或只针对排行榜分数所做的调整,都可能让排名虚高。也有人指出,投票型排行榜往往偏向篇幅长、语气友好的回答或美观的格式。因此,用排行榜筛选出候选之后,应当用自己的业务数据直接评估(Evals),并综合考虑成本、速度和许可证。

查看排行榜时要检查什么

解读排名

  • 分数差距是否在置信区间内
  • 是否是与自己用途相同领域的排名
  • 是否存在数据污染的可能

引入决策

  • 许可证是否允许商业使用
  • 成本和速度是否符合预算
  • 是否用自己的数据直接评估过
在直接相信排名之前需要确认的事项。

示例

本站曾介绍过 LMArena 运营方获得大笔投资的报道,可见排行榜已成为业界关注的指标。在实际工作中,为公司内部聊天机器人选型时,会从排行榜靠前的模型中挑出三四个符合许可证和预算的,再用一组常见问题直接对比评估,最终确定模型。

本站出现过的地方

相关术语