AI 术语表 · 基础 · 数据与评测
Evals
Evals（评估，Evaluations）是用预先设定的题目和评分标准，反复检验 AI 模型或 AI 功能是否按预期良好运行的测试集及其过程。与公开基准测试不同，它通常是针对自己的服务和业务亲自构建的。
工作原理
首先收集与实际使用场景相似的输入（问题、文档、任务指令等），整理成测试题目列表。每道题都附上正确答案或“好答案”的标准。然后让模型或 AI 智能体解答这些题目，并对结果评分。评分可以直接与正确答案比对或用代码自动检查，也可以结合让另一个 LLM 打分的 LLM-as-a-Judge 或人工审阅等方式。每次更换提示词或模型时，都重新测出这些分数，比较是变好还是变差。
为什么重要
LLM 对同一输入也可能给出不同回答，提示词只改一行，就可能在别处意外导致性能下降。没有 Evals，就只能依赖“用了几次感觉还行”的印象来判断。反之，有了 Evals，就能用数字和案例来权衡更换模型、修改提示词、调整 RAG 设置等决策。因此，在开发 AI 产品的团队中，Evals 往往像普通软件的测试代码一样，被视为开发流程中的基本工具。
注意事项
分数高并不一定意味着实际用户体验好。如果测试题目不能很好地代表实际情况，测量的就会是无关的东西。此外，如果测试题目混入了模型的训练数据，就可能出现分数虚高于实际能力的数据污染问题。让 LLM 评分时，评分模型本身也可能出错或有偏向，因此由人工亲自检查一部分、确认评分标准是否合理会更稳妥。服务发生变化时，Evals 也要随之更新。
示例
如果一家公司在开发客服聊天机器人，可以基于真实咨询收集数百道测试题，例如“退款规定问题”“物流延迟投诉”“无法回答的问题”。每道题附上评分标准，例如“是否依据规定文档作答”“是否没有编造不知道的内容（幻觉）”“语气是否礼貌”。每当要修改系统提示词或换用更便宜的模型时，都运行这些 Evals 比较分数；若有项目得分下降，就在部署前查明原因。开发 AI 模型的公司在发布新模型之前，也会结合公开基准测试和自有 Evals 来检验性能与安全性。