FocusGUI：每一步选择关注信息的全模态 GUI 智能体

问题

GUI 智能体每一步都要同时接收屏幕、音频、视频、动作历史和设备状态。在作者的分析中，对决策最重要的模态在 45.3% 的相邻步骤之间发生了变化，90.1% 的步骤中至少存在一个干扰模态。由于执行的动作会作为下一步输入返回，每一步的误读会不断累积，导致轨迹偏离，作者将这一现象称为 Sequential Distraction。现有的裁剪部分屏幕的方法无法处理音频和视频信号，还会丢弃确定坐标所需的周边上下文。

方法

FocusGUI 不缩减输入，只改变解码器读取输入的方式。它将各模态和屏幕空间通道投影到共享空间（128 维），并与基于完整观测生成的逐步参考向量进行比较，求得 softmax 权重。加权和被压缩为 64 维的小型 focus latent，然后以零初始化的 residual 形式加到动作生成前 4 个提示位置的嵌入上。骨干网络保持冻结，仅用下一个动作 token 的 likelihood 训练约 115 万至 145 万个参数。不需要标注哪个模态重要的标签。

结果

• 在 OmniGUI 基准（29 个智能手机应用、708 个回合）上，四种全模态骨干网络的平均 Type Match 从冻结骨干网络的 31.0% 提高到 64.2%，Exact Match 从 11.2% 提高到 33.5%。
• 以 Qwen2.5-Omni 为例，整体 TM 为 71.65，EM 为 40.16，高于最强对比方法 GUI-Actor（50.20、13.78）。在四种骨干网络与五类任务组合而成的 24 个单元格中，TM 和 EM 均为最高。
• 优化屏幕的基线方法（DRS-GUI、OmniParser、RegionFocus）平均仅使 TM 变化 +0.9 分，并且按相对值计算使 EM 下降 28%、Goal Progress 下降 35%。
• 作者报告称，从第一步到第四步，冻结的 Qwen2.5-Omni 的 TM 下降了一半，而 FocusGUI 保持了第一步 TM 的 86.8%。

局限

评估仅在一个智能手机 GUI 基准（OmniGUI，2,572 个动作步骤）上通过逐步与标准答案比较进行。尚未看到智能体在真实环境中自主连续行动的 closed-loop 评估。即使经过改进，Goal Progress 仍处于 6.8~17.5 的较低水平。作者也表示，模态权重并不能完全解释冻结骨干网络的内部判断。

意义

表明对于还需处理语音通知、视频变化等屏幕外信号的 GUI 智能体，告诉模型该关注哪里，可能比加入更多信息或裁剪信息更有效。由于这是一个不改动骨干网络的小型适配器，很容易接到现有全模态模型上使用。

关键术语

Sequential Distraction

指每一步因被无关信号分散注意力而产生的小错误，通过已执行的动作混入下一步输入，并逐渐累积的现象。

全模态（Omni-modal）模型

在同一个网络中同时处理文本、图像、音频、视频等多种输入的模型。

Zero-initialized residual

一种附加信号，初始为 0，因此保留原模型输出不变，在训练过程中逐渐加入修正值。

Type Match / Exact Match

Type Match 判断点击、输入等动作类型是否正确。Exact Match 则要求坐标和输入文本也完全正确才算正确。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Fuyao Zhang, Wenwen He, Jiaming Zhang, Yurong Hao, Xuan Wang, Guowei Guan, Che Wang, Longtao Huang, 等 · 发布 2026-10-19 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。