论文解读 · 2026年10月14日

AgentSWE：编码智能体能否构建用户想要的智能体

AgentSWE: Can Coding Agents Build the Agent You Actually Want?

构建了包含 25 个任务的基准，让编码智能体创建、修改和优化智能体。用隐藏用例评估后发现，开发过程中表现出的性能与实际交付成果之间存在很大差距。

问题

越来越多的用户把自己工作用的智能体交给 Claude Code、Codex 等编码智能体来构建。但此前没有基准能验证这样构建的智能体是否真正满足需求。SWE-bench 类基准评估的是有标准补丁的一般代码，智能体基准评估的只是已经完成的智能体。

方法

将智能体开发生命周期分为三个阶段：Creation（根据自然语言需求创建新智能体，10 个）、Editing（为 OpenHands、Aider 等真实智能体代码库添加功能，10 个）、Optimization（在 BrowseComp、OSWorld 等上改进现有智能体，5 个）。编码智能体只能通过少数公开的开发用例获得反馈。成果固定后，再用旨在覆盖全部需求的隐藏用例运行并评估。评分采用从需求中提取的评分标准（rubric）和硬性门槛，Optimization 则看与原基准目标指标之间的差距缩小了多少。

结果

即使是最强的编码智能体，隐藏用例平均得分也仅为 Creation 19.1、Editing 31.6。
在 Optimization 中，没有任何智能体将距目标的剩余差距平均缩小超过 5%。25 次运行中，得分高于起始智能体的只有 13 次。
即使是以开发用例得分 90 以上结束的 Creation 运行，在隐藏用例上平均也只有 9.9 分。
作者指出反复出现的失败类型有：对公开用例过拟合、表面上看似完成但运行后什么也不做的运行时（runtime）、没有依据的完成声明。

局限

任务只有 25 个，数量较少。每个 Creation 和 Editing 任务的隐藏用例为 6 个。任务初稿由 GPT-5.6 Sol 撰写，再由作者修改完善。评分依赖 LLM Judge（GPT-5.6 Sol、DeepSeek-V4.1-Flash）的评分标准。主实验是在 Codex 运行框架上组合 5 个模型。

意义

对用编码智能体构建内部自动化智能体的组织有启示：仅凭演示或通过开发用测试难以信任成果，还需要覆盖全部需求的独立验收测试。

关键术语

Agent Software Engineering: 编码智能体接收需求后，创建、修改和优化其他智能体的任务。
Held-out 用例: 开发过程中不展示、仅用于最终评估的测试用例。可暴露是否存在过拟合。
运行框架（Harness）: 包裹模型、协调规划、工具调用、重试等环节的执行代码。

原文

作者: Jiahao Wang, Hongjin Qian, Yuyang Hu, Jiajun Zhang, Zheng Liu · 发布 2026-10-09 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。