← 专题深读

专题深读 · 2026-11-18 · 基础 · 作者 bombong

智能体评估:轨迹评分与版本间回归检测

如果只按“最终答案是否正确”给智能体评分,就无法区分侥幸通过的运行和真正解决问题的运行。本笔记整理了如何对执行过程(轨迹,Trajectory)评分,以及在更换版本时,为了发现性能悄悄变差(回归)需要固定什么、比较什么。

目录
要点
  • 只看结果的评分会把反复试错后通过的运行与按规范解决的运行同等看待。在 SWE 智能体研究中,通过的轨迹里有 10.7% 属于这种“Lucky Pass”。
  • 轨迹评分将行为划分为探索、实现、验证等阶段,并与正确解决同一任务的参考路径进行比较,把浪费和顺序错误转化为分数。
  • 要发现版本间回归,首先要确认评估 harness 本身在重复测量中是否稳定,以及运行能否被完全复现(随机数、隐藏状态)。
  • 给 LLM 评分器看什么,会改变判定结果。查看完整执行记录的评分比只看文本的评分误报更少;而当记录被摘要或委托所遮蔽时,判定会大幅波动。
  • 功能评估和安全红队发现的是不同的失败,因此不能用其中一个代替另一个。

为什么需要:“通过/失败”一个比特的局限

与回答一次就结束的聊天机器人不同,AI 智能体会多次思考、调用工具、查看结果,以此完成任务。这一过程中留下的思考、工具调用和观察的顺序记录称为轨迹(Trajectory)。然而迄今为止,大多数智能体评估只看最终结果。对编码智能体来说,“最终补丁是否通过测试”这一个比特就是全部分数。

AgentLens(paper)指出,这种方式把按规范解决的运行与反复试错的运行同等对待,并证明了两者实际上并不相同。研究分析了 8 个模型后端在 SWE-bench Verified 的 60 个任务上产生的 2,614 条 OpenHands 轨迹,并从中单独收集了能够建立评估标准的 47 个任务的 1,815 条轨迹。其中,通过的轨迹有 10.7% 表现出修好又改坏的反复、无理由的重试、省略验证,以及探索、实现、验证顺序混乱。研究者将其称为 Lucky Pass(侥幸通过)。

其他领域也出现了类似问题。考察智能体在混合动机博弈中社会行为的 M3-BENCH(paper)报告称,只看结果的评估会遗漏社会能力上的巨大差异。安全评估框架 ForesightSafety-SAGE(paper)也以此为出发点:依赖手写场景、固定提示词和最终输出判定的现有评估,难以捕捉执行过程中出现的各种风险。

核心思路:评的是解题过程,而不是答卷

用数学考试来类比更容易理解。如果只给答案评分,蒙对的学生和真正解出来的学生会得到相同的分数。在一次考试中这也许不是大问题,但蒙对的学生下次考试答错的可能性更高。同时查看解题过程,就能提前发现这种风险。

轨迹评分做的正是这件事。它查看智能体先检查了什么、修改后是否做了确认、是否毫无意义地重复相同的尝试。这不是放弃结果评分,而是在其之上再增加“过程”这一维度。其中的取舍也很清楚:结果评分成本低、标准明确;而过程评分需要定义什么是“好的过程”,制定并维护这一定义需要成本。

从版本管理的角度看,这一差别更加重要。如果更换了模型或提示词而通过率不变,仅凭结果评分就会判断为“没有变化”。但如果在此期间 Lucky Pass 的比例上升了,质量可能已经开始下降。只有有了过程指标,才能看到这种隐藏的回归。

结果评分与轨迹评分

结果评分只看最终答案·测试

  • 成本低,标准明确
  • 无法区分侥幸通过
  • 通过率相同时看不出回归

轨迹评分连解题过程一起看

  • 能发现浪费·跳过验证·顺序错误
  • 需要构建和维护参考路径
  • 揭示隐藏的质量下降

공통 两者都需要相同的任务集和固定的运行条件,才能用于版本比较

轨迹评分并不取代结果评分,而是在其之上再增加“过程”这一维度。

如何运作:记录 → 阶段标签 → 与参考路径比较

沿着 AgentLens(paper)的方法,可以看到轨迹评分的基本流程。第一步是收集执行记录:让多个模型或多次运行求解同一任务,积累轨迹。

第二步是为每个行为标注“这个行为想做什么”。AgentLens 将每个行为归为探索(Exploration)、实现(Implementation)、验证(Verification)、编排(Orchestration)之一。此时不仅看使用了什么工具,还要看前面记录的上下文。因为同样是打开文件,如果是在初次了解结构,就是探索;如果是在修改后立即确认结果,则可能是验证。

第三步是与参考路径比较。AgentLens 将通过同一任务的多个解法合并,构建名为 PTA(Prefix Tree Acceptor,把多条路径的公共前缀合并成树形的结构)的按任务参考标准。关键在于不把正确路径钉死为一条,而是以“好的解法大体经过的路线”为参考。根据新轨迹在哪里偏离了这一参考(分叉点)、在哪里产生了浪费(浪费信号)来给出质量分数。用这一分数将通过的轨迹分为 Lucky、Solid、Ideal 三个等级,并将 Lucky Pass 再细分为五种反复出现的原因。

用于版本比较时,对旧版本和新版本以完全相同的方式运行这一流程,然后将结果评分和过程评分并列查看。对于对话式智能体等需要用户输入的情况,由用户模拟器生成输入。模拟器能模仿多么多样的用户会左右评估结果,这一点将在下一节讨论。

轨迹评分与版本比较流程任务·场景集 → 智能体v1·v2; 用户模拟器 → 智能体v1·v2; 智能体v1·v2 → 轨迹记录; 轨迹记录 → 结果评分; 轨迹记录 → 行为阶段标注; 行为阶段标注 → 参考路径比较; 参考路径(PTA) → 参考路径比较; 参考路径比较 → 版本比较报告(过程分数); 结果评分 → 版本比较报告(通过率)任务·场景集用户模拟器人设多样性智能体v1·v2在相同条件下运行轨迹记录思考·工具调用·观察结果评分是否通过测试行为阶段标注探索·实现·验证·协调参考路径(PTA)合并通过解法得到的基准参考路径比较分歧点·浪费信号版本比较报告Lucky·Solid·Ideal过程分数通过率
轨迹评分与版本比较流程 让旧版本和新版本运行相同任务并保留轨迹,再结合结果评分和过程评分(阶段标注 → 参考路径比较),生成版本比较报告。

发展脉络:关注过程的评估的多个分支

本资料作为出发点的研究都发表于 2026 年。它们之间与其说是继承关系,不如说是出于“只看结果不够”这一共同问题意识,各自朝不同方向展开。

M3-BENCH(paper)在 24 个混合动机博弈中将评估分为三个视角:行为轨迹分析(BTA)、推理过程分析(RPA)和对话内容分析(CCA)。将 11 个前沿 LLM 与人类基线比较后发现,推理模型内部思考很深,却无法将其转化为有效的对话,呈现出“overthink-undercommunicate”模式。像表面装作合作、内心却在进行机会主义推理这类仅凭结果指标会被掩盖的安全相关风险,也只有分视角才会暴露出来。

AgentLens(paper)将过程评分应用于编码智能体,定义了 Lucky Pass,并构建了附有质量分数、浪费信号和分叉点的 1,815 条轨迹数据集 AgentLens-Bench。ForesightSafety-SAGE(paper)则在安全方面实现了从场景生成到评分的自动化。它按五个风险维度生成了 1,072 个可测量的场景,评估了 12 个智能体,平均攻击成功率(ASR)为 47.1%,有多个模型超过 70%。研究者据此得出结论:可执行的过程级评估很重要。

也有研究关注评估成本和输入多样性。ADWM(paper)是一种离策略(Off-policy)评估方法,不在真实环境中运行新的智能体策略,只用预先收集的轨迹来估计性能。它用基于扩散的世界模型模拟环境会如何响应,并让被评估的智能体在每一步引导生成,使模拟出的轨迹反映该智能体的决策方式。三层人设向量研究(paper)指出,“你是一位愤怒的客户”这类一句话的角色描述,无论场景如何都会产生几乎相同的对话。因此研究构建了由 6 个人口特征、12 个行为特征和 5 种情绪状态组成的 23 维人设,并在 64,698 段多轮对话中表明,智能体的目标达成率会因人设不同而相差最多 15.8 个百分点。这意味着用户模拟器单调,评估也会变得单调。

版本间回归检测:固定什么,比较什么

回归是指新版本做不好以前能做好的事情。发现回归的基本原理很简单:在同一任务集上运行旧版本和新版本,不只看平均值,而是逐个任务查看发生了什么变化。但对智能体来说,连营造“相同条件”本身都很难。出现差异时,需要分清这是版本造成的,还是评估环境的波动造成的。

第一,评估 harness(运行智能体并评分的框架)必须稳定。一项比较企业分析智能体评估框架的研究(paper)用固定的执行记录多次重复评分,先测量了 harness 的稳定性,结果 97% 的配置超过了稳定性标准。只有先做这样的检查,才能把版本之间的分数差异与评分器的波动区分开。

第二,必须能够完全一样地重新运行。AppWorld 复现保真度研究(paper)通过 284 次隔离的重新运行检查了 71 个失败运行。只重建已声明的配置时,71 个中只有 42 个被认定与原始运行相同;每次交互都初始化随机数生成器后,增至 68 个。两种方式之间 26 个的差异,经过数据库和 oracle 检查后减少到 4 个。但也出现了 4 个输出和判定相同、数据库中实际留下的状态却不同的情况,还有完全相同的 API 调用返回相同响应、却修改了不同行的案例。这意味着仅比较屏幕上可见的输出,无法断定是“相同的运行”。

第三,同时比较结果指标和过程指标。AgentLens(paper)按 8 个模型后端比较了 Lucky 比例。如果更换模型时通过率不变而 Lucky 比例可能改变,那么没有过程指标的回归测试就会漏掉这种变化。在真实环境中运行新版本成本高或有风险时,也有研究像 ADWM(paper)那样,先用已收集的轨迹在离线状态下估计新策略的表现。

各复现方式下被认定为“同一次运行”的数量

仅重建声明的配置
每次交互重置随机数
在AppWorld中重新运行71次失败运行时,被认定与原始运行相同的数量。控制随机数生成器后,可复现的运行大幅增加。

最新方向:给评分器看什么

近期研究的焦点正从“要看过程”更进一步,转向“以什么形式把过程记录交给评分器”。企业分析智能体比较研究(paper)比较了查看完整执行记录的 LLM 评分、只看文本的 LLM 评分加红队的方式,以及确定性规则(heuristic)评分。在 72 个已知正确答案的测试用例中,基于执行记录的评分在精确率与召回率之间平衡最好(F1=0.90)。只看文本的评分召回率相同,但误报多 5 倍。在寻找尚未知风险的阶段发现了 24 个新失败,而功能测试与安全红队发现的失败完全没有重叠。研究者建议采用双框架策略:功能评估使用基于执行记录的评分,安全验证使用对抗性红队。

Verification Transport 研究(paper)测量了同一运行在呈现形式改变时,LLM 验证器的判定是否会波动。在实际系统中,由于将多个工具打包的复合工具、把工作交给子智能体的委托,以及对过长记录的摘要(compaction),验证器能看到的证据会发生变化。即使固定了任务、轨迹、结果、正确答案、评分标准和验证器,只改变呈现形式,在宏抽象和委托情况下判定失败率仍达到约 31%。直接判定的方式更常给出错误判定;基于证据或经过深思的方式在信息不足时倾向于暂缓判定。因此失败率低并不一定意味着更可靠。恢复运行的来源信息(provenance)后,85.5% 的失败得到了恢复。

这一趋势对回归检测的启示很明确:如果新版本改变了智能体结构,导致委托或记录摘要增多,即使智能体的实际行为相同,评分结果也可能不同。在版本比较中,不仅要固定智能体,还要同时固定展示给评分器的记录形式。

智能体过程评估研究图谱 上方一组是从不同方向解决“只看结果的评估”之局限的起点研究,下方一组是探讨评分稳定性、可复现性和观测范围的近期研究。由于继承关系未经证据确认,图中未加箭头。

局限与争议:实践中需要考虑的问题

过程评分需要参考路径。AgentLens(paper)也只能在有足够多通过轨迹的47个任务上构建参考路径。在正确解法较少的新任务或罕见任务上,很难确定什么是“好的过程”。此外,与参考路径不同并不总是坏事。新颖但更好的解法有被扣分的风险,因此在出现分歧点时,设置由人工抽查样本的环节更为稳妥。

用LLM作为评分器的LLM-as-a-Judge虽然方便,但它本身也是评估对象。正如前面两项研究(paper、paper)所示,评分器看到的信息量和形式不同,判定也会随之改变。实践中常见的错误主要有三种:只把最终回答文本交给评分器;更改了记录摘要方式却仍直接与之前的分数比较;不检查评分器在重复测量时的稳定性。

输入端也有陷阱。如果用户模拟器的人设过于单一,版本之间的差异可能显现不出来,或者反过来漏掉只在特定用户类型中出现的回归。在人设向量研究(paper)中,不同人设之间的目标达成率差距最高达15.8个百分点,可见评估集的用户分布也应像版本一样加以管理。

关于何时使用哪种方式,可总结如下。当任务较短、正确答案的验证明确时,仅用结果评分就足够。当任务较长、需要使用多种工具,或“通过了但令人不安”的运行会带来运营成本和风险时,再加上过程评分。安全和权限相关的风险不要用功能评估代替,而应单独安排红队。

智能体回归测试检查清单

固定条件

  • 是否使用相同的任务集和用户人设分布
  • 能否通过控制随机数和外部状态来复现运行
  • 是否不仅比较输出,还比较存储中留下的状态

评分器

  • 重复评分时结果是否稳定
  • 评分器看的是否是完整的运行记录而非仅最终答案
  • 记录摘要和委派方式是否与旧版本相同

比较指标

  • 是否在看通过率的同时也看过程分数(如Lucky比例)
  • 是否检查各任务的变化而非平均值
  • 是否通过红队单独检查安全风险
更换版本前需要在评估体系中确认的事项。

延伸阅读

如果是初次接触,建议先读AgentLens(paper)。从Lucky Pass这一具体现象、行为阶段标注到参考路径(PTA)的构建,轨迹评分的骨架都集中在这一篇论文中。接着读M3-BENCH(paper),可以了解按行为、推理、对话等视角拆分来审视过程的方法在编程以外的场景中如何应用。

如果要亲自构建回归测试,建议同时阅读复现保真度研究(paper)和评估框架比较研究(paper)。前者说明“重新生成同一次运行”这件事有多棘手,后者给出了harness稳定性检查和评分方式的选择标准。如果使用LLM评分器,可以通过Verification Transport(paper)确认展示给评分器的记录形式会产生什么影响。

接下来的阅读材料:对话式智能体的输入设计可读三级人设向量研究(paper),难以在真实环境中运行的智能体的离线评估可读ADWM(paper),安全场景的自动生成可读ForesightSafety-SAGE(paper)。

相关术语

Evals LLM-as-a-Judge Harness LLM 可观测性 红队 基准测试 A/B 测试 AI 智能体

参考资料

奠基论文

最新研究

由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。