论文解读 · 2026年10月8日
从证据到行动：工具使用智能体在哪里失败
From Evidence to Action: How Tool-Using Agents Fail
构建了追踪智能体在行动前是否真正获取所需证据的基准SafeActBench，表明工具使用智能体的失败大多始于执行前调查不足和行动过于仓促。
问题
工具使用智能体会执行退款、修改记录等改变外部状态的行动。然而，即使最终结果正确，也无法保证该行动是基于事先获取的证据。现有评估主要只看任务完成情况或最终状态，难以确定从证据到行动的链条在哪个环节断裂。
方法
以6个业务领域、656个案例构建了SafeActBench。协议共5种：静态判断（Legacy，Allow/Block/Defer）、调查后不行动（V0）、单一行动（V1）、线性多行动（V2）、依赖图（DAG）多行动（V3）。基于来源的Evidence Ledger记录每条事实是在哪次交互中、针对哪个实体和状态确立的。例如，即使另一笔索赔的金额相同，也不认可为目标索赔的证据。确定性评估器重放轨迹，检查调查是否完成、工具/目标/参数是否正确、是否使用执行结果以及依赖顺序。不使用LLM评判。将5个模型系列分别与各自的专用Harness和通用ReAct Harness（Inspect）组合，共评估了10种配置。
结果
- 最佳配置为Claude-5 + Claude Code，整体精确成功率（ECS）为67.2%。最低为GLM-5.2 + ZCode，为37.7%。
- 即使静态判断性能很高，交互执行也可能较弱。GLM–ZCode在Legacy上为97.7%，但在V2上仅为12.1%。用相同V1案例重新评估的三种配置，静态准确率均在95%以上，交互ECS均不超过52%。
- Harness的影响很大，且因模型而异。DeepSeek-V4从Inspect的57.5%提升到DSH的63.0%。GLM-5.2使用Inspect（41.0%）优于ZCode（37.7%）。其余系列的专用Harness高出2.1~4.4个百分点。
- 作者报告，失败主要始于执行之前：调查不完整就停止，或在获取所需证据之前就采取行动。获取证据后的单一行动执行大体稳定。在多行动中，还暴露出前置条件未解决和执行不完整的问题。
局限
案例为656个、领域为6个，在模拟的工具环境中评估。作者指出，评估只看可观察的轨迹，因此无法判断模型内部依据的是什么。证据要求依赖于作者定义的案例规范。评估的模型/Harness配置为10种。
意义
在实际业务中部署智能体时，重要的不仅是结果是否正确，还有是否在确认依据后才行动。本研究提供了一个诊断标准：需要单独检查调查阶段和依赖处理。Harness的选择对性能影响很大，这一点也具有实践意义。
关键术语
- 后果性行动（Consequential Action）
- 像退款、发送文档、修改记录这样改变应用状态或产生外部影响的工具调用。区别于信息查询调用。
- 调查后不行动（Investigated Non-action）
- 在不应行动的情况下，不是简单地拒绝，而是完成必要的调查、确认原因后，不采取行动而停止。
- Evidence Ledger
- 将已确立的事实与其来源交互及目标实体和状态绑定记录的账本。用于在行动前判定所需证据是否已实际获取。
- Harness
- 包裹模型、管理工具调用、迭代循环和提示词构建的智能体执行框架。例如Claude Code、Codex和ReAct实现。
原文
作者: Hongzhan Lin, Shidong Cao, Ziyang Luo, Wenhao Chai, Mong-Li Lee, Wynne Hsu · 发布 2026-10-06 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。