论文解读 · 2026年10月13日
SoftwareGym：用多样的合成软件环境扩展计算机使用智能体的训练
SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments
通过多智能体流水线自动合成 182 个 GUI 桌面应用，并用其轨迹进行训练，将 OSWorld Pass@3 从 41.39% 提升到 56.97%。
问题
训练计算机使用智能体（CUA）需要多样且可靠的执行环境。真实原生应用的接入成本高，导致应用覆盖范围窄，并有对特定应用过拟合的风险。基于浏览器的合成环境则在交互深度和工作流复杂度上不足。
方法
这是一个包含设计、实现、评估三个阶段的自动流水线。设计阶段将最少的输入扩展为详细的功能规格，并生成多个结构不同的 Avalonia UI 蓝图和 SVG 图标。此时用布局树编辑距离强制变体之间存在差异。实现阶段由编码智能体构建应用，并在源码层面进行验证。评估阶段由 GUI 智能体运行基于检查点的测试，并根据失败记录最多迭代修改 3 个版本。只用经过 GUI 验证的功能合成不同难度的任务。用收集到的轨迹对 Qwen3.5-9B 进行了多模态 SFT。
结果
- 在 12 个类别中合成了 182 个可运行的应用，平均 GUI 任务通过率为 91.5%。
- 仅用 SoftwareGym 轨迹训练的模型，在完全未使用 OSWorld 应用和任务的情况下，将 OSWorld（244 个任务）Pass@3 从 41.39% 提升到 56.97%，提高 15.58 个百分点。
- 在由 12 个类别、120 个任务构成的 SoftwareGym-Bench 上取得 40.0% 的 Pass@3。作者报告这一结果高于部分规模更大的专用 CUA。
- 作者报告，其时间和成本远低于人工开发。
局限
合成应用仅限于基于 Avalonia 的桌面应用。设计和实现使用 GPT-5.5，GUI 评估使用 Seed 2.1 Pro 等商用模型。训练只做了 SFT。训练后模型的 OSWorld 分数（56.97%）仍低于 GPT-5.5（71.31%）等 API 模型。评估指标为温度 1、3 次 Rollout 下的 Pass@3。
意义
研究表明，无需逐一接入真实应用，也能大量构建多样的 GUI 训练环境，且这些数据能迁移到从未见过的真实应用上。这是解决计算机使用智能体数据瓶颈的一个方向。
关键术语
- 计算机使用智能体（CUA）
- 一种通过观察屏幕、操作鼠标和键盘来完成实际软件任务的 AI 智能体。
- OSWorld
- 一个在 Chrome、GIMP、LibreOffice 等真实桌面应用上评估智能体任务完成情况的基准。
- Pass@3
- 一种指标：对同一任务独立尝试 3 次，只要有一次成功即计为成功。
原文
作者: Tian Jin, Wenhao Wang, Jing Kang, Haoting Shi, Rui Ye, Yijun Lu, Siheng Chen · 发布 2026-10-08 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。