LLM 评估：被污染的试卷、摇摆的评分者，以及实际工作这场实操考试

评估为何变难

LLM 评估的基本框架是基准测试，即一组有标准答案的题目。让模型答题，然后统计答对的比例。如果答案是叙述式的，通常使用 BLEU 或 ROUGE 等重叠指标。这类方法统计模型答案与参考答案共享多少相同的词片段。例如，医疗问答比较研究（paper）使用 iCliniq 数据集中的 38,000 个医疗问题比较了 5 个模型。采用的是不做额外微调、直接提问的零样本方式，评分使用了 BLEU 和 ROUGE。

然而，随着模型像人一样自由写作，这种方式开始动摇。根据生物医学关系抽取评判研究（paper），LLM 经常给出标准答案的同义词或缩写，因此传统自动指标难以信赖。人工评分更可靠，但成本高、耗时长，很难在实际服务中每次都使用。这正是把评分交给另一个 LLM 的 LLM-as-a-Judge 得以普及的原因。

问题不仅在于评分。试卷本身可能已混入训练数据（数据污染）。考试分数也可能与实际工作能力相去甚远。本笔记依次讨论这三道裂痕：污染、评判和实际工作。

核心思路：试卷、评分者、实操考试

把 LLM 评估比作资格考试会更容易理解。如果试卷提前泄漏，高分体现的就不是能力，而是背诵。如果代为评分的人容易被答卷的语气或长度左右，分数就不可信。即使笔试考得好，实操时也可能动错地方。

因此，解读评估结果时要问三个问题。第一，这个分数真的是解答从未见过的题目得到的吗？第二，是谁用什么设置评分的，这个评分者经过验证了吗？第三，这场考试与我要交付的工作有多相似？

这三个问题之间存在权衡。有标准答案的考试成本低，跑多少次结果都一样，但与现实相距较远。贴近实际工作的考试更现实，但难以构建，也难以用单一标准答案评分。LLM 评判填补了这个空缺，但随之产生了一个新问题：评分者是否可信。近期研究正在寻找这一权衡的平衡点。

如何运作：一次评估的流程

一次评估大致按以下顺序进行。首先准备题目集，并检查题目是否与训练数据或检索对象重叠。接着运行模型获取答案。如果是使用工具的智能体，还要在最终答案之外保留包含全部中间行为的执行记录（Trajectory）。然后评分，最后汇总并解读结果。

评分方式大致有三种。第一种是与标准答案或规则对照。成本低、可复现，但表述稍有不同就会被判错。第二种是 LLM-as-a-Judge。在评判提示词中放入评分标准、问题和模型答案，得到分数或胜负。为单个答案打分的方式称为 pointwise，从两个答案中选出更好一方的方式称为 pairwise。RobustJudge（paper）对这两种方式都做了测试。第三种是人工评估，最可靠，但也最昂贵。

LLM 评判有多个会改变结果的旋钮：用哪个模型做评判者、如何设计评判提示词，以及温度设为多少。温度是决定生成答案时允许多大随机性的值。后文介绍的研究表明，这些旋钮中的每一个都会让判定产生波动。因此，在使用评判者之前，需要一个步骤：将其与人工直接评分的样本进行比较，确认一致率。

发展脉络：逐一深挖三道裂痕的研究

先看污染检测。LogitTrace（paper）指出，即使在 AIME、Math500 这样的高难度基准测试上，一旦存在污染，背下来的解法也可能看起来像真正的推理。现有检测方法主要依赖表面信息，例如句子重叠程度、给出题目前半部分时是否会原样续写后半部分、对最终答案的置信度等。因此，只要把题目换个说法，检测性能就会下降。LogitTrace 转而观察模型内部每一层对答案的偏好（logit）如何变化。在被污染的题目上，模型会很早就确定答案；在干净的题目上，则会逐步积累依据。把这种差异作为信号，仅用轻量分类器就能在多个模型和输入变体上区分这两种情况。此外，用 LoRA 刻意对特定题目进行重复训练后，也出现了类似的模式。

评判者的弱点体现在两个方面。一是格式问题。生物医学关系抽取评判研究（paper）用 8 个 LLM 评判者，在 3 个数据集上为另外 5 个 LLM 的回答评分。判定准确率大多不到 50%。主要原因是 LLM 抽取的关系不遵循规定格式。改为以结构化输出格式获取回答后，判定性能平均提高了约 15%。该研究还提出了在数据集之间迁移知识的领域适应方法，并公开了由人工和 LLM 标注的 36k 条判定数据。

另一个是鲁棒性问题。RobustJudge（paper）在 13 个模型上测试了 15 种攻击方法和 8 种防御策略。无论 pointwise 还是 pairwise，LLM 评判者仍然容易受到攻击。混合多种攻击的组合攻击最强，并且能很好地迁移到其他模型。评判提示词模板和模型选择也会影响鲁棒性。评判温度研究（paper）运行了超过 100 万次评估来衡量温度的影响。温度低时，判定更一致、错误更少，小模型尤其如此。但低温度也会收窄模型推敲时的推理范围。在难分优劣的模糊案例中，改变方法后一致度有所提升，比如用高温度多次采样后多数投票，或者用高温度进行推理、只在最终决定时使用低温度。对明确案例的判定没有变差，但推理成本更高。

在实际工作方面，EconEvals（paper）推出了一套开源评估集，以美国劳动力市场的工作任务和职业为单位衡量能力。尽可能基于真实用户查询来构建题目，不足部分用合成数据补充。根据该研究，此前最先进的 OpenAI GDPval 覆盖了美国 5% 的职业。EconEvals 称其以低 500 倍的成本覆盖了更广的范围。该研究估计，在 47% 的职业中，超过一半的工作时间可以大幅缩短。但在这类工作中，有 79% 的实际 Claude 使用量较低。研究团队认为主要瓶颈是个人信息和公司内部的专有系统。

最新方向：从平均分转向条件与过程

第一个趋势是污染检测正扩展为对整个评估流程的泄漏审计。罕见病诊断审计研究（paper）使用从公开及独立临床队列中收集的 6 万多个病例，重建并测试了最新的智能体框架。如果用于挑选诊断候选的空间没有与评估数据正确分离，性能就会被夸大。严格隔离数据集之后，Recall@1（第一个候选即为正确答案的比例）的平均值从 54.3% 降至 40.3%。监督学习分类器在内部评估中的平均准确率为 42.9%，但在外部队列中仅为 16.7%。研究团队还用数据表明，LLM 会根据病历中的后续治疗线索反推诊断。他们也确认，知识库的时间点不匹配会导致性能剧烈波动。结论是，当前的评估方式反映的可能是数据泄漏，而非医学能力。

第二个趋势是按评判者、任务、语言等条件拆分考察评判者的特性。多语言评判研究（paper）测试了 9 种提示词策略，如 CoT、角色设定等。再与 4 个开放权重评判者、27 种语言、4 类任务、13 个数据集组合，收集了超过 100 万个分数，并用人工判定进行了验证。在英语基准测试上被认为效果好的策略，无法迁移到其他条件。选择哪个评判模型，比提示词策略对结果的影响更大。同一策略在不同评判者上有时会产生截然相反的效果。在低资源语言上判定不稳定，但只看整体平均值时，这一问题被掩盖了。研究团队建议在实际要使用的评估环境中直接验证提示词策略。

第三个趋势是对智能体的评估不仅看结果，也看过程和副作用。SABench（paper）由电子邮件、日历和工单方面的 201 项任务组成。它组合了 4 种工作状态结构和 4 种陷阱类型，并为每个任务配备了按规则检查执行记录的 Oracle（自动判定器）。该 Oracle 同时检查是否达成目标以及是否遵守权限。用 11 个前沿 LLM 运行 2,211 个模型—任务组合后，全部执行中有 15.2% 产生了附带损害（collateral damage），例如写入错误对象、扩大请求范围、联系非预期对象等。在模糊任务中违规率为 38.8%，其他陷阱平均为 8.4%。即使在达成目标的执行中，也有 12.8% 进行了未经许可的写入。目标达成率相近的模型之间，附带损害率最多相差 4.7 倍。这意味着仅凭任务成功率无法判断模型是否能安全地使用工具。

局限与争议：实践中需要考量的问题

LLM 评判适合开放式答案多、人工难以全部评分的情况。相反，如果答案格式明确，规则评分成本更低，可复现性也更好。还要警惕被评估对象可能试图欺骗评判者的环境。正如 RobustJudge（paper）所示，评判者容易受到攻击，测试过的防御也并不完善。无论哪种情况，出发点都是先建立人工直接评分的样本，衡量其与评判者的一致程度。

常见错误有五种。第一，把在英语基准测试上被认为效果好的评判提示词原样用于其他语言或其他评判者。多语言评判研究（paper）表明，效果可能完全反转。第二，凭感觉设定评判温度。评判温度研究（paper）给出的规则是：默认使用低温度以确保稳定性，只在难以判断的案例上多次采样加以推敲。第三，把公开基准测试分数直接当作自家业务的性能。污染或候选空间泄漏可能夸大分数（paper、paper）。第四，只看单一的整体平均值，忽略各语言、各任务类型的弱点。第五，只看智能体的完成率，不检查越权行为（paper）。

仍有一些未解决的问题。像 LogitTrace（paper）这样观察逐层 logit 的方法，需要能访问模型内部数值。因此，难以直接用于无法查看内部的模型。实际工作评估必须在覆盖范围和成本之间不断权衡。EconEvals（paper）指出的个人信息和专有系统这一瓶颈，也意味着越是公司内部的工作，越无法用公开评估来衡量。最终，公司内部的工作评估集需要自己构建。而且只要使用评判者，“谁来验证这个评判者”的问题就始终存在。人工验证可以减少，但无法取消。

延伸学习

如果想先了解 LLM 评判，最好从生物医学关系抽取评判研究（paper）开始。它具体说明了判定为何出错、改变格式后哪些方面会改善。接着通过 RobustJudge（paper）了解攻击与防御的全貌，再通过评判温度研究（paper）掌握可以直接上手的设置规则。最后阅读多语言评判研究（paper），就能理解这些规则会随条件而变化。

关于污染和泄漏，先通过 LogitTrace（paper）掌握检测原理，再阅读罕见病诊断审计（paper）。这样就能体会到评估设计中的小漏洞会让数字发生多大变化。关于实际工作评估，可以通过 EconEvals（paper）了解以工作任务和职业为单位的全局图景，再通过 SABench（paper）了解如何用执行记录为智能体的副作用评分。如果需要用重叠指标评分的传统方式示例，医疗问答比较研究（paper）篇幅短、易读。