논문 리뷰 · 2026년 10월 22일

FocusGUI: 단계마다 집중할 정보를 고르는 옴니모달 GUI 에이전트

Focused Omni-Modal GUI Agents

에이전트 멀티모달 고급 추천 222 cs.CV Nanyang Technological University

고정된 옴니모달 모델에 단계별로 중요한 모달리티를 골라 임베딩에 더해 주는 경량 어댑터를 붙여, 백본을 파인튜닝하지 않고 GUI 행동 정확도를 크게 높였다.

문제

GUI 에이전트는 화면, 오디오, 영상, 행동 이력, 기기 상태를 매 단계 한꺼번에 입력받는다. 저자들의 분석에서 결정에 가장 중요한 모달리티는 인접 단계의 45.3%에서 바뀌었고, 90.1%의 단계에 방해가 되는 모달리티가 하나 이상 있었다. 실행한 행동이 다음 입력으로 돌아오므로 단계별 오독이 쌓여 Trajectory가 어긋나는데, 저자들은 이를 Sequential Distraction이라고 부른다. 화면 일부를 잘라내는 기존 방법은 오디오·영상 신호를 다루지 못하고, 좌표를 정하는 데 필요한 주변 맥락도 버린다.

방법

FocusGUI는 입력을 줄이지 않고 디코더가 입력을 읽는 방식만 바꾼다. 각 모달리티와 화면 공간 채널을 공유 공간(128차원)으로 투영하고, 전체 관측에서 만든 단계별 기준 벡터와 비교해 softmax 가중치를 구한다. 가중합을 64차원의 작은 focus latent로 압축한 뒤, 행동 생성 직전 4개 프롬프트 위치의 임베딩에 0으로 초기화한 residual로 더한다. 백본은 고정하고 다음 행동 토큰의 likelihood만으로 약 115만~145만 개 파라미터를 학습한다. 어떤 모달리티가 중요한지 알려 주는 라벨은 필요 없다.

결과

OmniGUI 벤치마크(스마트폰 29개 앱, 708개 에피소드)에서 네 가지 옴니모달 백본 평균 Type Match가 고정 백본 31.0%에서 64.2%로, Exact Match가 11.2%에서 33.5%로 올랐다.
Qwen2.5-Omni 기준 전체 TM 71.65, EM 40.16으로, 가장 강한 비교 방법인 GUI-Actor(50.20, 13.78)보다 높았다. 네 백본과 다섯 과제 유형을 조합한 24개 칸 모두에서 TM과 EM이 가장 높았다.
화면을 다듬는 기준선(DRS-GUI, OmniParser, RegionFocus)은 TM을 평균 +0.9점만 바꿨고, 상대 기준으로 EM을 28%, Goal Progress를 35% 떨어뜨렸다.
첫 단계에서 네 번째 단계로 갈 때 고정된 Qwen2.5-Omni는 TM이 절반으로 줄었지만, FocusGUI는 첫 단계 TM의 86.8%를 유지했다고 저자들은 보고했다.

한계

평가는 스마트폰 GUI 벤치마크 하나(OmniGUI, 2,572개 행동 단계)에서 단계별 정답 비교로만 이뤄졌다. 실제 환경에서 에이전트가 스스로 이어서 행동하는 closed-loop 평가는 확인되지 않았다. Goal Progress는 개선 후에도 6.8~17.5 수준으로 낮다. 저자들도 모달리티 가중치가 고정 백본의 내부 판단을 완전히 설명하지는 않는다고 밝혔다.

의미

음성 알림, 영상 변화처럼 화면 밖 신호까지 다루는 GUI 에이전트에서는 정보를 더 넣거나 잘라내는 것보다 어디에 집중할지 알려 주는 편이 효과적일 수 있음을 보여 준다. 백본을 건드리지 않는 작은 어댑터라서 기존 옴니모달 모델에 붙여 쓰기 쉽다.

핵심 용어

Sequential Distraction: 단계마다 관련 없는 신호에 주의를 빼앗겨 생긴 작은 오류가, 실행된 행동을 통해 다음 단계 입력에 섞이면서 점점 쌓이는 현상이다.
옴니모달(Omni-modal) 모델: 텍스트, 이미지, 오디오, 영상 같은 여러 입력을 하나의 네트워크에서 함께 처리하는 모델이다.
Zero-initialized residual: 처음에는 0이라서 원래 모델 출력을 그대로 두고, 학습하면서 조금씩 보정값을 더하도록 설계한 추가 신호다.
Type Match / Exact Match: Type Match는 클릭·입력 같은 행동 종류가 맞았는지 본다. Exact Match는 여기에 좌표와 입력 텍스트까지 정확해야 정답으로 친다.

원문

저자: Fuyao Zhang, Wenwen He, Jiaming Zhang, Yurong Hao, Xuan Wang, Guowei Guan, Che Wang, Longtao Huang, 외 · 게시 2026-10-19 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.