FDE-Gym：评估AI落地最后阶段的现场部署工程师基准

问题

现有智能体基准提供的是通过issue、规格说明和工单明确定义的任务。而部署在真实客户现场的工程师（FDE）需要澄清模糊的需求、在运行中的系统上工作，并找出未被说明的约束。有时请求本身针对的就是错误的问题。此前没有评估这类能力的基准。

方法

行业专家将2024年以来在中国、新加坡和美国开展的真实交付项目改编为18个行业的20个场景。连同改变关键事实的变体在内，共构建95个任务。智能体从一个包含生产系统副本、文档和员工名册的工作空间开始，向130余名回复由脚本固定的利益相关者提问，并修改系统。得分是对客户KPI在保留数据上的改善程度进行归一化后的值：什么都不做为0，专家参考解法为1。在此基础上扣除联系利益相关者的成本（消息、试运行、等待），如果发生未经授权操作等事故，正分将被清零。将指令信息量分为从L0（问题和约束全部提供）到L3（发起人的原始请求）四个级别，以分离瓶颈所在。验证确保了按字面实现请求的解法得分不超过0.2，走捷径的解法得分不超过0.8。

结果

• 在L3设置下，Claude Opus 5.5平均0.56分，为最高，解决了95个任务中的14个。13个配置中有5个一个任务都没有解决。即使每个任务只取表现最好的配置，平均也只有0.70分，解决30个任务。
• 告知约束时，前3名模型得分为0.73~0.82；需要自行发现约束时，则大幅降至0.39~0.62。
• 顶尖模型从利益相关者那里获得了72~85%的关键事实，但交付系统的改善幅度只有参考解法的0.60~0.70。联系成本又使得分额外降低0.14~0.22。
• Claude Haiku 4.5在95个任务中有79个的得分低于什么都不做的基线。作者报告，较弱的模型反而可能让客户处境恶化。

局限

为保证可复现性，利益相关者的回复由脚本固定，并由小模型将问题匹配到主题，因此灵活性低于真实对话。运行环境只允许Python和SQLite，并屏蔽了一般网络，比真实现场更受限。L0~L2的比较只在20个原始任务上进行。任务数量为95个。

意义

它用数据表明，企业引入AI时真正困难的部分不是实现，而是找出“真正的问题是什么”和“隐藏的约束”。可作为将智能体投入客户现场工作之前的检查标准。

关键术语

FDE(Forward-Deployed Engineer)

供应商派驻到客户组织内部，负责从需求梳理到构建、部署全过程的工程师。

归一化业务提升（Normalized Business Uplift）

将交付系统对客户KPI的改善程度标定为：什么都不做为0，专家解法为1。小于0表示比原来更差。

任务指令级别（L0~L3）

保持环境和评分不变，只逐步减少任务描述中所含信息的设计。可以分别看出失败发生在实现、约束发现还是问题重新定义环节。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Dongxu Yang, Hongda Yan, Renxin Wang, Baoli Zhang, Haojia Zuo, Ying Zhao, Youmin Chen, Xiaojian Liao, 等 · 发布 2026-10-15 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。