AI 术语表 · 进阶 · 数据与评测
LLM-as-a-Judge
LLM-as-a-Judge 是一种评估方法：由 LLM（大语言模型）代替人来给其他 AI 的回答打分，或从两个回答中选出更好的一个。
通俗解释 这就像老师一个人难以批改大量试卷，于是把初步批改交给熟悉评分标准的助教。不过这位助教也会出错、有自己的习惯，所以老师需要不时复查。
工作原理
首先向待评估的 AI 模型提问并获得回答。然后把问题、回答和评估标准一起写进提示词，交给担任“评委”的 LLM。评委 LLM 按照准确性、有用性、安全性等标准打分，或比较两个回答并选出更好的一个。如果让它同时写出判定理由，人就更容易确认分数为何如此。为了检验结果是否可信，会把部分判定与人工评估进行对照。
为什么重要
像摘要、写作、对话这类没有唯一正确答案的任务，很难用选择题式的基准测试来评分。由人逐一评估虽然准确，但耗费大量时间和成本。使用 LLM 评委，可以快速、低成本地按同一标准评估大量回答。因此，它被广泛用于模型开发过程中的阶段性检查、服务质量监控、制作训练用的偏好数据等。
注意事项
评委 LLM 也有偏差。已知它倾向于偏好先出现的回答或更长的回答，或者给与自己相似的模型所写的回答打更高分。对于需要评委自身不具备的专业知识的问题，它也可能把错误答案判为正确。为了减少这些问题，会调换回答顺序评估两次、把标准写得非常具体，或综合多个评委的判定。说到底，它无法完全替代人的核查，作为辅助工具使用才稳妥。
示例
运营聊天机器人服务的公司每次修改提示词时，都会针对几百个示例问题收集新的回答。然后让评委 LLM 按照“是否准确回答了问题、是否编造了没有依据的内容”等标准与以前的回答进行比较。人只需亲自查看分数下降的条目，就能比全部由人阅读更快地发现质量变化。