AI 术语表 · 基础 · 数据与评测
基准测试
基准测试是为了在相同条件下比较 AI 模型能力而设计的一套标准试题及评分方法。让各个模型解答相同的题目，用分数比较其水平。
通俗解释 这类似于为比较学生水平而举行的统一模拟考试。不过，正如模拟考试成绩无法完全反映实际工作能力，基准测试分数也可能与实际使用中的表现不一致。
工作原理
基准测试通常由一组题目、标准答案或评分标准以及分数计算方法构成。有的测试像数学题、编程任务、常识问答那样有明确答案，也有的由人或其他 AI 评估回答的质量。近来，考察 AI 智能体能否经过多个步骤把实际任务完整完成的基准测试也越来越多。由于使用相同的题目和评分标准，不同公司的模型也可以放在一起比较。
为什么重要
要验证 AI 模型“变得更聪明了”这种说法，需要一把共同的尺子。研究人员用基准测试确认新方法是否真的有所改进，企业在选择使用哪个模型时也会参考。新的基准测试出现后，会暴露出当前 AI 还做不到什么，因此也会影响研究方向的确定。所以模型发布时，往往会同时公布多项基准测试分数。
注意事项
如果基准测试的题目混入训练数据，模型可能会“背下”题目，导致分数虚高，这称为数据污染。当各模型的分数接近满分时，这个基准测试就很难再区分出差异，这种情况称为“饱和”。此外，如果只为提高分数而调整模型，实际使用中的表现可能不如预期。因此，最好把多个基准测试的分数与实际使用体验结合起来看。
示例
本站介绍过的“TasteVal”是将 AI 的实验研究直觉与人类专家进行比较的基准测试，“LMBuild”则评估 LLM 智能体能否造出真正可以组装并能运转的结构物。像这样，如今的基准测试正从答对题目，扩展到衡量研究判断力以及做出实际可运行成果的能力。
本站出现过的地方
- 论文 从证据到行动：使用工具的智能体在哪里失败 2026-10-08
- 论文 LMBuild：评估 LLM 智能体能否造出真正可以组装并能运转的结构物 2026-10-07
- 简报 AWS 发布面向编程智能体的 SageMaker 推理优化技能“aws-ai-ml” 2026-10-06
- 简报 TasteVal：将 AI 的实验研究直觉与人类专家进行比较的基准测试 2026-10-06