专题深读 · 2026-10-24 · 进阶
GUI 智能体：看屏幕、点鼠标的 AI 的结构与挑战
GUI 智能体反复执行“看截图、用鼠标和键盘行动”的循环，像人一样操作计算机和浏览器。近期研究的重点正从“点准一次”转向撑过长任务。相关主题包括记忆、多智能体分工、错误恢复、完成验证和安全。
目录
- GUI 智能体反复执行“观察 → 判断 → 定位屏幕位置（grounding） → 行动 → 再次观察”。步骤增加到数十个时，小错误会累积并导致失败。
- 性能并不只由模型规模决定。执行环境（harness）、训练数据、记忆结构和任务分解方式共同起作用。
- 近期研究把察觉并纠正错误的能力，以及对照记录单独验证智能体所报告的“已成功”，视为核心课题。
- 存在只有在操作屏幕的方式下才会出现的安全风险，例如在观察与行动之间的几秒内篡改屏幕的攻击，以及浏览器智能体泄露个人信息。
- 需要这样的设计：难以撤销的行动由人做最终确认，不直接相信智能体的自我报告。
为什么需要：没有 API 的世界里的工作
公司业务中相当一部分是在没有 API（程序之间交换数据的正式通道）的程序里完成的，例如老旧的内部系统、桌面应用、需要登录才能进入的网站。人使用这些程序的方式是看着屏幕点击。因此，如果 AI 也能以同样方式操作，就无需另行开发对接也能实现自动化。由此产生的就是 GUI（图形用户界面）智能体，业界也称之为计算机使用（Computer use）智能体或浏览器智能体。
问题在于屏幕是为人设计的。按钮位置会随分辨率和主题而变化，弹窗和通知随时会插进来。一项桌面 GUI 安全研究（paper）将这类智能体定义为通过“截图再点击的循环”来操控计算机的系统。这个循环很简单，但只要一步出错，后续步骤就会全部偏离。
在短任务中表现良好的智能体，到了长任务中也会崩溃。Wuying-Browser-Agent（paper）指出，与干净利落的简短演示不同，实际部署时需要在真实运行的网站上做出数十次决策，并从错误中恢复。执行记忆研究 EAM（paper）也认为，每到一个屏幕就重新解读 UI、重新决定行动的方式在长任务中很脆弱。
核心思路：通过屏幕共享操作别人电脑的人
GUI 智能体可以比作远程支持客服。客服一边看客户共享的屏幕，一边判断“请点击左上角的设置按钮”，并亲自移动鼠标。他们看不到代码内部，只凭屏幕上可见的内容做判断。点击之后，会再次确认屏幕发生了什么变化。
在这个比喻中，AI 承担三项工作。第一，理解屏幕的眼睛，主要由 VLM（视觉-语言模型，同时处理图像和文字的模型）完成。第二，决定下一步做什么的规划。第三，指出“设置按钮”在屏幕上的确切坐标的能力，研究中称为定位（grounding）。三者中只要有一项出错，就会点到错误的位置。
客服工作久了，会积累“这家公司的系统先点这个菜单再点那个菜单”之类的窍门。工作量大时，也会由多人分担。近期 GUI 智能体研究也在沿这两个方向扩展：一是记住经验并复用，二是多个智能体分工。
如何运作：观察-行动循环
单个步骤的流程如下。① 用户给出目标（例如“把这个月的收据整理到 Excel 里”）。② 智能体观察当前屏幕。多数情况下使用截图，在浏览器中也可能同时读取网页结构（DOM）。③ 模型查看目标和到目前为止的记录，决定下一步行动。④ 定位要操作的屏幕位置。⑤ 实际执行点击、输入、滚动、切换窗口等行动。⑥ 再次观察变化后的屏幕并回到③。判断已达成目标时停止并报告结果。
包裹模型并驱动这个循环运行的执行环境称为 harness。Wuying-Browser-Agent（paper）让结构化的浏览器 harness 负责稳定的基本执行操作和决策所需的上下文管理。从人类演示中学习的 ShowUI-Aloha（paper）则将执行器设计为在操作系统层面进行点击、拖动、输入和窗口操作，同时进行安全检查和实时反馈。
在长任务中，记录“到目前为止做了什么、了解到什么”的智能体记忆很重要。如果每一步只看屏幕做判断，就会忘记之前看到的信息。因此会加上把以往经验补充进上下文的结构。最后的“完成判定”本身也是一个难题，后文会再讨论。
发展脉络：数据、训练、记忆、分工
以下研究都发表于2025年底至2026年。与其说它们是前后继承的关系，不如说是在不同层面解决同一个问题，这样理解更准确。
先看数据与训练。ShowUI-Aloha（paper）针对的是优质训练数据不足的问题。它搭建了一条流水线：记录人在桌面上工作的屏幕录像以及点击和按键的记录器，将其转写为自然语言描述的学习器，规划下一步行动的规划器，以及实际执行的执行器。Continual GUI Agents（paper）表明，在新领域或新分辨率不断出现的环境中，现有方法的定位会变得不稳定。为此提出了 GUI-AiF，这是一种强化学习微调方法，以交互点和区域为基准给予奖励，避免过度拟合固定坐标或元素尺寸。Wuying-Browser-Agent（paper）主张仅靠规模不够，执行、监督、优化和评估都要协调一致。它使用了学习错误恢复轨迹和复杂 UI 的课程式 SFT，以及改进长任务信用分配的在线强化学习。还构建了由350个平均37.9步的任务组成的 BrowserBench。用这种方式训练的27B模型在 WebVoyager 上达到80.6%，在 Online-Mind2Web 上达到66.7%，在 BrowserBench 上达到65.1%，据报告在浏览器使用基准上达到开源最高水平。
在规划与执行方面，EAM（paper）把 GUI 规划从“每次重新生成”转变为“检索后执行”。它将由多个步骤组成的例程压缩存储在知识图谱中，由轻量的价值模型引导在图上的搜索。据称在 AndroidWorld 上比 UI-TARS-7B 最多高出19.6%，token 成本降至 GPT-4o 的六分之一，平均延迟为2.8秒。Multi-Agent Computer Use（paper）指出了单个智能体按顺序工作的局限。管理者模型将任务分解为依赖关系图（DAG），把已就绪的工作并行分派给子智能体，并根据新获知的事实不断修改图。在桌面和网页基准上比单智能体高出3.4~25.5%。
当前走向：恢复、验证、训练环境
2026年10月发表的研究正把关注点从“成功的频率有多高”转向“如何处理失败”。CUA-Recovery（paper）关注的是：在跨多个桌面应用的长任务中，前面步骤的错误会悄无声息地破坏状态，引发连锁失败。它构建了由经人工验证的2,250个错误状态（100个任务）组成的测试集，以及由8.6K条轨迹（377个任务）组成的训练集。对六个智能体的评估显示，察觉继承错误的比例（EAR）最高仅44.0%，Pass@3 最高仅25.5%。
完成判定也在被单独研究。一项关于自我报告泄漏的研究（paper）指出，如果智能体自信地报告“已成功”，即使执行记录中没有依据，下一步也可能照常进行。给同一个判定模型同样的任务和记录、只去掉智能体的自我报告后，识别出危险虚假报告的比例在 Qwen3.5-35B-A3B 上提高了43.4个百分点，在 DeepSeek-284B-A13B 上提高了13.3个百分点。因此研究人员构建了将主张解读与记录分析分开的审计器，在465个审计对象上取得了0.75~0.78的 F1。
构建训练环境的研究也很活跃，因为在真实应用中大规模运行强化学习很困难。Trace2World（paper）用1,570条真实交互记录重建了50个可执行的应用环境。在十个应用的200个工作流中，它从头到尾复现了91.1%，高于最强的对比方法（59.8%）。在用来源记录验证过的环境中，模拟训练效果的94.0%在真实设备上得以保持；只做自我验证时为54.7%。在100个真实设备任务上提高了16.3分。这意味着，要让模拟中的成果延续到现实，关键在于环境与真实应用的相似程度。
Trace2World 与对比方法
Trace2World对比方法
局限与争议：因操作屏幕而产生的风险
看屏幕再行动的结构有其特有的攻击面。一项桌面 GUI 安全研究（paper）测得，在真实的 OSWorld 任务中，观察与行动之间的间隔平均为6.51秒。在这个空隙里，没有权限的攻击者可以偷换屏幕，即发动 TOCTOU（检查时间与使用时间不一致）攻击。操纵窗口焦点的攻击在观察时不留任何视觉痕迹，就把行动100%转向了别处。研究人员提出的 PUSV 是在行动前一刻再次确认屏幕状态的三层防御。在180次攻击测试中实现了100%拦截、0误报，额外耗时不到0.1秒。但对于不在屏幕上留下痕迹的网页 DOM 注入攻击，拦截率几乎为0%，暴露出结构性盲区。研究人员总结称，任何单独一层都无法阻挡所有攻击。
个人信息也是一大争议点。一项浏览器智能体隐私研究（paper）用5个因素、15个测量项评估了8个热门浏览器智能体，发现了30个漏洞，其中包括关闭浏览器的隐私保护功能，或把敏感个人信息“自动填充”到输入框中的案例。由于智能体是受托使用用户的登录会话和个人信息来行动的，一旦出事损失很大。出于同样的原因，也要警惕通过隐藏在网页中的指令操控智能体的间接提示注入。
不应把基准分数解读为实际业务表现。上述数值来自各项研究自行设定的环境和任务。在实务中，基本做法是同时采用：在付款、删除、发送等难以撤销的行动前由人做最终确认的人在回路、沙箱之类的隔离环境，以及最小权限原则。还需要有一套流程，区分智能体说了“完成”和实际已完成这两件事，并通过记录加以确认。
GUI 智能体安全与隐私数据
延伸阅读
想先把握全貌，最好从 Wuying-Browser-Agent（paper）读起。它在一篇论文中涵盖了 harness、训练数据、强化学习和基准，因此能一目了然地看到构建 GUI 智能体需要哪些层面。接着读 EAM（paper）和 Multi-Agent Computer Use（paper），就能比较“用记忆降低规划成本”和“用分工解决长任务”这两种设计方向。
如果关注数据与训练，可以依次阅读把人类演示转为训练素材的 ShowUI-Aloha（paper）、处理环境变化导致性能下降的 Continual GUI Agents（paper）、用真实记录重建训练环境的 Trace2World（paper），这样脉络是连贯的。
如果考虑实际部署，建议先读安全研究（paper）和隐私研究（paper），再读错误恢复基准 CUA-Recovery（paper）和完成报告审计研究（paper）。这四篇为回答“何时、在多大程度上可以信任智能体”这一问题提供了必要的视角。
相关术语
参考资料
奠基论文
- Wuying-Browser-Agent: Real-World Centric Fundamental Long-Horizon Browser Agents (2026)
- Executable Agentic Memory for GUI Agent (2026)
- Multi-Agent Computer Use (2026)
- ShowUI-Aloha: Human-Taught GUI Agent (2026)
- Continual GUI Agents (2026)
- Temporal UI State Inconsistency in Desktop GUI Agents: Formalizing and Defending Against TOCTOU Attacks on Computer-Use Agents (2026)
- Privacy Practices of Browser Agents (2025)
最新研究
由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。