AI 术语表 · 入门 · 数据与评测
排行榜
排行榜是用同一套基准测试或用户投票来评估多个 AI 模型,并以排名表的形式展示结果。在挑选模型时,它像一张地图,帮助筛选出第一批候选。
通俗解释 它就像餐厅排名网站。初到一个地方时用来挑选候选餐厅很方便,但是否合自己的口味和预算,还得亲自尝过才知道。
工作原理
排行榜大致有两种方式。一种是让所有模型做同一套固定的试题(基准测试)并打分。另一种是像 LMArena 那样,让人们匿名比较两个模型对同一问题的回答并投票,再汇总结果计算分数(评分)。前者容易复现,后者更接近真实用户的感受。
在哪里会看到
有 Hugging Face 的排行榜空间、LMArena 这类投票型网站,以及编程、数学、搜索等特定领域的排行榜。发布模型的公司也经常在博客或模型卡中引用排行榜的排名和分数。排名表上通常会同时列出模型名称、分数、置信区间或投票数,以及许可证信息。理解排名时,与其盯着“唯一的第一名”,不如关注“排名靠前的一组”。
注意事项
如果分数差距很小,即使排名发生变化,实际差异也可能几乎不存在。试题混入训练数据造成的数据污染,或只针对排行榜分数所做的调整,都可能让排名虚高。也有人指出,投票型排行榜往往偏向篇幅长、语气友好的回答或美观的格式。因此,用排行榜筛选出候选之后,应当用自己的业务数据直接评估(Evals),并综合考虑成本、速度和许可证。
查看排行榜时要检查什么
解读排名
- 分数差距是否在置信区间内
- 是否是与自己用途相同领域的排名
- 是否存在数据污染的可能
引入决策
- 许可证是否允许商业使用
- 成本和速度是否符合预算
- 是否用自己的数据直接评估过
示例
本站曾介绍过 LMArena 运营方获得大笔投资的报道,可见排行榜已成为业界关注的指标。在实际工作中,为公司内部聊天机器人选型时,会从排行榜靠前的模型中挑出三四个符合许可证和预算的,再用一组常见问题直接对比评估,最终确定模型。
本站出现过的地方
- 简报 LMArena 运营方 Arena 融资 2 亿美元……10 个月内估值约翻倍至 31 亿美元(据报道) 2026-10-08