论文解读 · 2026年10月17日

OpenGCUA：面向通用计算机使用智能体的完全开放技术栈

OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use

公开了一种智能体设计：由模型自行决定观察方式、行动方式和任务管理，并以代码执行GUI操作。在OSWorld-v2上，它提高了全部8个前沿模型的得分，并将步数减少约一半。

问题

计算机使用智能体正从以屏幕点击为主，转向混合使用shell、无障碍树、API和代码执行。但GPT-6 Astra等最前沿系统没有公开提示词、harness和执行轨迹，因此很难研究哪些设计会影响性能和成本。

方法

将通用计算机使用智能体（GCUA）定义为由模型在每一步自行决定“观察什么、如何行动、如何管理任务”的系统。GUI、CLI和混合智能体被视为预先固定了其中部分决策的特例。实现的核心有两点。第一，让GUI操作和程序调用写在同一段代码中，使条件语句、循环和验证能根据中间结果在一次模型调用内运行。第二，把截图时机、任务状态跟踪等原本由harness规则固定的决策交给模型（harness-to-model decision transfer）。同时公开了面向真实设备的harness，以及计算机、移动端和浏览器通用SDK的早期版本。

结果

在OSWorld-v2离线集上，完整配置相比批量执行GUI动作的基线（batched GUI-only），提高了包括GPT-6 Astra、Claude Opus 5在内全部8个模型的得分。平均部分得分提高19.6分，每个任务的步数平均减少53.0%。
在相同的GUI和shell访问条件下，代码执行比GUI+CLI基线的平均部分得分高6.1分，步数减少14.8%。
让模型只在需要时观察屏幕后，两个模型的缓存命中率分别提高了10.5个百分点和14.4个百分点，得分没有下降。
在4个真实macOS任务中，Qwen3.8-Max使用的推理token是GPT-6 Astra的19.4倍，总输出token是其5.7倍，完成的任务反而更少。

局限

此次公开不包含训练好的模型。真实设备harness和SDK为早期版本。真实设备比较仅限于4个macOS任务和选定的运行，难以推广。基准结果也只基于OSWorld-v2离线集这一个数据集。

意义

它提供了依据：构建业务自动化智能体时，用“以代码批量执行”代替“屏幕点击”，并把观察时机交给模型，可以同时改善准确率和成本。8个模型的执行轨迹均已公开，便于比较和复现设计。

关键术语

GCUA(Generalist Computer-Use Agent): 同时使用屏幕操作和shell、API等程序访问方式，并在每一步由模型自行选择观察、行动和任务管理方式的计算机使用智能体。
Harness: 在模型外部负责提供观察、执行行动和管理上下文的运行框架。例如“每一步都截图”这类规则就属于这里。
无障碍树（Accessibility Tree）: 操作系统以结构化方式提供的屏幕元素角色、名称和值等信息。无需坐标即可直接操作元素。
Batched Actions与代码执行: Batched Actions是一次性预先确定并发送多个动作的方式；代码执行则是发送可根据运行中结果进行分支、循环和验证的程序。

原文

作者: Hanzhang Zhou, Long Li, Quyu Kong, Lei Wang, Panrong Tong, Long Chen, Tianyu Xia, Gongjie Zhang, 等 · 发布 2026-10-15 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。