论文解读 · 2026年10月20日
BizBench：揭示在真实商业环境中部署长程任务智能体时隐藏难题的基准
BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business
基于一家支付公司的真实业务流程，构建了不仅检查最终结果、还检查中间执行是否合规的基准。结果显示，即便是 Frontier 模型，严格标准下的成功率也只停留在 60% 多的水平。
问题
现有长程任务智能体基准侧重于最终任务是否成功，因此难以发现中间步骤的违规。在支付这类高风险业务中，未经批准的转账或违反最低余额要求，即使之后纠正了结果，本身也算失败。此外，实际业务规定分散在过时或相互冲突的文档中。
方法
将一家全球支付公司的业务文档整理为 SOP，改写敏感内容后，重构为可执行环境。环境包含 789 份知识文档和 601 个需要探索查找才能使用的业务工具。50 个任务包含资源约束、时间依赖、先前承诺以及过时或冲突的指引。LLM 用户模拟器提供客户信息和批准。评估采用确定性（deterministic）检查，只有同时满足目标达成（G）、执行过程中的要求遵守（P）、受保护对象与禁止的副作用（F）才算成功，不使用 LLM judge。通过重新执行 Golden trace 和故意构造的违规案例对评估器进行了验证。
结果
- 作者报告，严格成功率方面 Claude Opus 5 仅为 64.0%，GPT-6 Sol 仅为 61.3%。
- 即使是 GPT-6 Sol，三次尝试全部成功的任务也只有 40.0%，每次执行的结果波动很大。
- Qwen3.8-27B 的目标达成率为 42.0%，但计入中间执行违规后的严格成功率降至 32.7%。这表明只看结果的评估可能掩盖错误的执行。
- DeepSeek-V4.1-Flash 每次执行平均调用工具 191.3 次，比参考执行多约 70%。Qwen3.5-9B 在 150 次执行中一次也没有达成全部目标。
局限
任务只有 50 个，且基于一家公司的支付业务。为保护机密，业务细节经过抽象和改写，因此可能与真实环境存在差异。用户角色由 LLM 模拟器扮演，模拟器的行为可能影响结果。
意义
在金融和企业业务中引入智能体时，“过程是否遵守规定”与“结果是否正确”同样重要。该基准定量展示了这种差异，并提出了将批准顺序、最低余额、有效规定判别等实务验证项纳入评估设计的方法。
关键术语
- 严格成功率（Strict Success）
- 不仅要达成最终目标，还要在执行过程中遵守批准和约束、避免禁止的副作用，全部满足才算成功的指标。
- Golden Trace
- 正确完成任务的参考执行记录。用于验证目标与约束能否同时满足，但并不强制只有一条正确路径。
- 用户模拟器
- 由 LLM 扮演客户，在对话中提供客户信息并回应批准请求的机制。
原文
作者: Enhan Zhao, Yongqi Tong, Xuejun Yu, Hang Wang, Pan Wang, Yichao Wang, Di He, Jianshe Li, 等 · 发布 2026-10-14 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。