주제 탐구 · 2026-10-24 · 심화

GUI 에이전트: 화면을 보고 클릭하는 AI의 구조와 과제

GUI 에이전트는 스크린샷을 보고 마우스·키보드로 행동하는 고리를 되풀이하면서 컴퓨터와 브라우저를 사람처럼 다룬다. 최근 연구의 초점은 '한 번 클릭을 맞히는 것'보다 긴 작업을 버티는 일로 옮겨 가고 있다. 기억, 여러 에이전트의 분업, 오류 복구, 완료 검증, 보안이 그 주제다.

왜 필요했나: API가 없는 세상의 업무
핵심 아이디어: 화면 공유로 남의 컴퓨터를 조작하는 사람
어떻게 작동하나: 관찰-행동 고리
발전 흐름: 데이터, 학습, 기억, 분업
요즘 어디로 가고 있나: 복구, 검증, 학습 환경
한계와 쟁점: 화면을 조작하기 때문에 생기는 위험
더 공부하려면

핵심 정리

GUI 에이전트는 '관찰 → 판단 → 화면 위치 짚기(그라운딩) → 행동 → 다시 관찰'을 반복한다. 단계가 수십 개로 늘어나면 작은 실수가 쌓여 실패로 이어진다.
성능은 모델 크기만으로 정해지지 않는다. 실행 환경(하네스), 학습 데이터, 기억 구조, 작업 분해 방식이 함께 좌우한다.
최근 연구는 오류를 알아차리고 되돌리는 능력, 그리고 에이전트가 '성공했다'고 하는 보고를 기록과 따로 검증하는 일을 핵심 과제로 다룬다.
관찰과 행동 사이의 몇 초 동안 화면이 바뀌는 공격, 브라우저 에이전트의 개인정보 유출처럼 화면을 조작하는 방식에서만 생기는 보안 위험이 있다.
되돌리기 어려운 행동은 사람이 최종 확인하고, 에이전트의 자기 보고를 그대로 믿지 않는 설계가 필요하다.

왜 필요했나: API가 없는 세상의 업무

회사 업무의 상당 부분은 API(프로그램끼리 데이터를 주고받는 공식 통로)가 없는 프로그램에서 이뤄진다. 오래된 사내 시스템, 데스크톱 앱, 로그인해야 들어가는 웹사이트가 그렇다. 사람은 이런 프로그램을 화면을 보고 클릭하며 쓴다. 그래서 AI도 같은 방식으로 다룰 수 있다면 따로 연동을 개발하지 않아도 자동화할 수 있다. 이런 발상에서 나온 것이 GUI(그래픽 사용자 인터페이스) 에이전트이고, 업계에서는 컴퓨터 사용(Computer use) 에이전트나 브라우저 에이전트라고도 부른다.

문제는 화면이 사람을 위해 만들어졌다는 점이다. 버튼 위치는 해상도와 테마에 따라 달라지고, 팝업과 알림이 아무 때나 끼어든다. 데스크톱 GUI 보안 연구논문는 이런 에이전트를 '스크린샷을 찍고 클릭하는 고리'로 컴퓨터를 조종하는 시스템이라고 정의한다. 이 고리는 단순하지만 한 단계만 틀려도 다음 단계가 전부 어긋난다.

짧은 작업에서는 잘 되던 에이전트도 긴 작업에서는 무너진다. Wuying-Browser-Agent논문는 깔끔한 짧은 시연과 달리 실제 배포에서는 살아 있는 웹사이트에서 수십 번 결정을 내리고 실수에서 회복해야 한다고 지적한다. 실행 기억 연구 EAM논문도 매 화면마다 UI를 다시 해석하고 행동을 다시 정하는 방식은 긴 작업에서 취약하다고 본다.

핵심 아이디어: 화면 공유로 남의 컴퓨터를 조작하는 사람

GUI 에이전트는 원격 지원 상담원에 비유할 수 있다. 상담원은 고객의 화면 공유를 보면서 '왼쪽 위 설정 버튼을 누르세요'라고 판단하고 직접 마우스를 움직인다. 코드 내부는 볼 수 없고 화면에 보이는 것만으로 판단한다. 클릭한 뒤에는 화면이 어떻게 바뀌었는지 다시 확인한다.

이 비유에서 AI가 맡는 일은 셋이다. 첫째, 화면을 이해하는 눈이다. 주로 VLM(비전-언어 모델, 이미지와 글을 함께 다루는 모델)이 이 일을 한다. 둘째, 다음에 무엇을 할지 정하는 계획이다. 셋째, '설정 버튼'이 화면의 정확히 어느 좌표인지 짚는 능력으로, 연구에서는 그라운딩(grounding)이라고 부른다. 셋 중 하나만 틀려도 엉뚱한 곳을 클릭하게 된다.

상담원이 일을 오래 하면 '이 회사 시스템은 이 메뉴 다음에 저 메뉴'라는 요령이 쌓인다. 일이 크면 여러 명이 나눠 맡기도 한다. 최근 GUI 에이전트 연구도 이 두 방향, 곧 경험을 기억해 재사용하는 쪽과 여러 에이전트가 분업하는 쪽으로 넓어지고 있다.

어떻게 작동하나: 관찰-행동 고리

한 단계의 흐름은 다음과 같다. ① 사용자가 목표를 준다(예: '이번 달 영수증을 엑셀로 정리해 줘'). ② 에이전트가 현재 화면을 관찰한다. 스크린샷을 쓰는 경우가 많고, 브라우저에서는 웹페이지 구조(DOM)를 함께 읽기도 한다. ③ 모델이 목표와 지금까지의 기록을 보고 다음 행동을 정한다. ④ 행동할 화면 위치를 짚는다. ⑤ 클릭, 타이핑, 스크롤, 창 전환 같은 행동을 실제로 실행한다. ⑥ 바뀐 화면을 다시 관찰하고 ③으로 돌아간다. 목표를 이뤘다고 판단하면 멈추고 결과를 보고한다.

모델을 감싸고 이 고리를 돌려 주는 실행 환경을 하네스라고 한다. Wuying-Browser-Agent논문는 구조화된 브라우저 하네스가 안정적인 실행 기본 동작과 결정에 필요한 맥락 관리를 맡게 했다. 사람 시연에서 배우는 ShowUI-Aloha논문는 실행기가 운영체제 수준에서 클릭·드래그·입력·창 조작을 하면서 안전 점검과 실시간 피드백을 함께 하도록 설계했다.

긴 작업에서는 '지금까지 무엇을 했고 무엇을 알게 됐는지'를 담는 에이전트 메모리가 중요하다. 매 단계 화면만 보고 판단하면 앞에서 본 정보를 잊는다. 그래서 이전 경험을 맥락에 더하는 구조가 붙는다. 마지막의 '완료 판정'도 그 자체로 어려운 문제이며, 이는 뒤에서 다시 다룬다.

GUI 에이전트의 관찰-행동 고리 목표를 받은 모델이 행동을 정하고 실행한다. 바뀐 화면과 과거 경험이 다시 모델의 입력이 되는 고리가 반복되다가, 완료를 판정하면 멈춘다.

발전 흐름: 데이터, 학습, 기억, 분업

아래 연구들은 모두 2025년 말~2026년에 나왔다. 서로 계승 관계라기보다 같은 문제를 서로 다른 층에서 풀었다고 보는 편이 정확하다.

데이터와 학습 쪽부터 보면, ShowUI-Aloha논문는 좋은 학습 데이터가 부족하다는 문제를 겨냥했다. 사람이 데스크톱에서 일하는 화면 녹화와 클릭·키 입력을 기록하는 기록기, 이를 자연어 설명으로 옮기는 학습기, 다음 행동을 계획하는 계획기, 실제로 실행하는 실행기로 파이프라인을 짰다. Continual GUI Agents논문는 새 도메인이나 해상도가 계속 들어오는 환경에서 기존 방법의 그라운딩이 흔들린다는 점을 보였다. 그래서 고정 좌표나 요소 크기에 과하게 맞추지 않도록 상호작용 지점과 영역을 기준으로 보상을 주는 강화학습 파인튜닝 방법 GUI-AiF를 제안했다. Wuying-Browser-Agent논문는 규모만으로는 부족하고 실행·지도·최적화·평가를 모두 맞춰야 한다고 주장한다. 오류 복구 Trajectory와 복잡한 UI를 학습하는 커리큘럼 SFT, 긴 작업의 공로 배분을 다듬은 온라인 강화학습을 썼다. 평균 37.9단계짜리 과제 350개로 된 BrowserBench도 만들었다. 이 방식으로 학습한 27B 모델은 WebVoyager 80.6%, Online-Mind2Web 66.7%, BrowserBench 65.1%를 기록해 브라우저 사용 벤치마크에서 오픈소스 최고 수준이라고 보고했다.

계획과 실행 쪽에서는 EAM논문이 GUI 계획을 '매번 새로 생성'하는 일에서 '찾아서 실행'하는 일로 바꿨다. 여러 단계로 이뤄진 루틴을 지식 그래프에 압축해 저장하고, 가벼운 가치 모델이 그래프 위 탐색을 이끈다. AndroidWorld에서 UI-TARS-7B보다 최대 19.6% 앞섰고, 토큰 비용은 GPT-4o 대비 6분의 1로 줄였으며 평균 지연은 2.8초였다고 한다. Multi-Agent Computer Use논문는 에이전트 한 개가 순서대로 일하는 방식의 한계를 짚었다. 관리자 모델이 작업을 의존 관계 그래프(DAG)로 나누고, 준비된 일을 서브에이전트들에게 병렬로 맡기며, 새로 알게 된 사실에 따라 그래프를 계속 고친다. 데스크톱과 웹 벤치마크에서 단일 에이전트보다 3.4~25.5% 높았다.

GUI 에이전트 연구 지도 같은 시기 연구를 다루는 층에 따라 묶었다. 상자를 누르면 원문으로 이동한다.

요즘 어디로 가고 있나: 복구, 검증, 학습 환경

2026년 10월에 나온 연구들은 '얼마나 자주 성공하나'에서 '실패를 어떻게 다루나'로 관심을 옮기고 있다. CUA-Recovery논문는 여러 데스크톱 앱에 걸친 긴 작업에서 앞 단계의 오류가 조용히 상태를 망가뜨리고 연쇄 실패를 일으킨다는 점에 주목했다. 사람이 검증한 오류 상태 2,250개(과제 100개)로 된 테스트 세트와 Trajectory 8.6K개(과제 377개)로 된 학습 세트를 만들었다. 여섯 에이전트를 평가한 결과 물려받은 오류를 알아차리는 비율(EAR)은 최대 44.0%, Pass@3는 최대 25.5%에 그쳤다.

완료 판정도 따로 연구되고 있다. 자기 보고 누출 연구논문는 에이전트가 자신 있게 '성공했다'고 보고하면, 실행 기록에 근거가 없어도 다음 단계가 그대로 진행될 수 있다고 지적한다. 같은 판정 모델에 같은 과제와 기록을 주고 에이전트의 자기 보고만 빼자, 위험한 허위 보고를 잡아내는 비율이 Qwen3.5-35B-A3B에서 43.4%p, DeepSeek-284B-A13B에서 13.3%p 올랐다. 그래서 연구진은 주장 해석과 기록 분석을 분리한 감사기를 만들었고, 감사 대상 465건에서 F1 0.75~0.78을 얻었다.

학습 환경을 만드는 연구도 활발하다. 실제 앱에서 강화학습을 대량으로 돌리기는 어렵기 때문이다. Trace2World논문는 실제 상호작용 기록 1,570개로 실행 가능한 앱 환경 50개를 재구성했다. 열 개 앱의 워크플로 200개 중 91.1%를 처음부터 끝까지 재현해 가장 강한 비교 방법(59.8%)보다 높았다. 출처 기록으로 검증한 환경에서는 시뮬레이션 학습 효과의 94.0%가 실제 기기에서도 유지됐고, 자기 검증만 했을 때는 54.7%였다. 실제 기기 과제 100개에서는 16.3점이 올랐다. 시뮬레이션 성과가 실제로도 이어지려면 환경이 실제 앱과 얼마나 같은지가 핵심이라는 뜻이다.

Trace2World와 비교 방식

Trace2World비교 방식

워크플로 재현율−31.3%p

91.1%

59.8%

실제 기기 학습 효과 유지−39.3%p

94%

54.7%

왼쪽 막대는 Trace2World, 오른쪽 막대는 비교 방식의 값이다. 재현율의 비교 대상은 가장 강한 과제 단위 방법이고, 실제 기기 유지율의 비교 대상은 자기 검증이다.

한계와 쟁점: 화면을 조작하기 때문에 생기는 위험

화면을 보고 행동하는 구조에는 고유한 공격면이 있다. 데스크톱 GUI 보안 연구논문는 실제 OSWorld 작업에서 관찰과 행동 사이 간격이 평균 6.51초라고 측정했다. 이 틈에 권한 없는 공격자가 화면을 바꿔치기하는 TOCTOU(확인 시점과 사용 시점의 불일치) 공격이 가능하다는 것이다. 창 포커스를 조작하는 공격은 관찰 시점에 아무 시각적 흔적 없이 100% 행동을 다른 곳으로 돌렸다. 연구진이 제안한 PUSV는 행동 직전에 화면 상태를 다시 확인하는 3층 방어다. 180회 공격 시험에서 100% 차단, 오탐 0건, 추가 시간 0.1초 미만을 기록했다. 하지만 화면에 흔적이 남지 않는 웹 DOM 삽입 공격에는 거의 0%로 막지 못해 구조적 사각지대가 드러났다. 연구진은 어느 한 층만으로는 모든 공격을 막을 수 없다고 정리했다.

개인정보도 큰 쟁점이다. 브라우저 에이전트 프라이버시 연구논문는 5개 요인, 15개 측정 항목으로 인기 브라우저 에이전트 8개를 평가해 취약점 30개를 찾았다. 브라우저의 개인정보 보호 기능을 꺼 두거나 민감한 개인정보를 입력란에 '자동 완성'해 버리는 사례가 포함됐다. 에이전트가 사용자의 로그인 세션과 개인 정보를 위임받아 움직이는 만큼 사고가 나면 피해가 크다. 웹페이지에 숨긴 지시로 에이전트를 조종하는 간접 프롬프트 인젝션도 같은 맥락에서 경계해야 한다.

벤치마크 점수를 실제 업무 성능으로 읽어서는 안 된다. 위 수치는 각 연구가 정한 환경과 과제에서 나온 값이다. 실무에서는 결제·삭제·전송처럼 되돌리기 어려운 행동 앞에서 사람이 최종 확인하는 휴먼 인 더 루프, 샌드박스 같은 격리 환경, 최소 권한 원칙을 함께 적용하는 것이 기본이다. 에이전트가 '완료'라고 말했다는 사실과 실제로 완료됐다는 사실을 구분해 기록으로 확인하는 절차도 필요하다.

GUI 에이전트 보안·프라이버시 수치

6.51초관찰과 행동 사이 평균 간격

100%PUSV 차단율(180회 시험)

약 0%DOM 삽입 공격 차단율

30개브라우저 에이전트 취약점

관찰-행동 간격과 PUSV 차단율은 데스크톱 보안 연구, 취약점 수는 브라우저 에이전트 8개를 평가한 프라이버시 연구에서 나온 값이다.

더 공부하려면

전체 그림을 먼저 잡으려면 Wuying-Browser-Agent논문부터 읽는 것이 좋다. 하네스, 학습 데이터, 강화학습, 벤치마크를 한 논문에서 모두 다루기 때문에 GUI 에이전트를 만들 때 어떤 층이 필요한지 한눈에 보인다. 그다음 EAM논문과 Multi-Agent Computer Use논문를 이어 읽으면 '기억으로 계획 비용 줄이기'와 '분업으로 긴 작업 풀기'라는 두 설계 방향을 비교할 수 있다.

데이터와 학습에 관심이 있다면 사람 시연을 학습 재료로 바꾸는 ShowUI-Aloha논문, 환경 변화에 따른 성능 저하를 다룬 Continual GUI Agents논문, 실제 기록으로 학습 환경을 재구성하는 Trace2World논문 순서로 읽으면 흐름이 이어진다.

실무 배포를 고민한다면 보안 연구논문와 프라이버시 연구논문를 먼저 읽고, 오류 복구 벤치마크 CUA-Recovery논문와 완료 보고 감사 연구논문로 넘어가기를 권한다. 이 네 편은 '에이전트를 언제, 얼마나 믿을 수 있나'라는 질문에 답하는 데 필요한 관점을 준다.

참고 문헌

핵심 논문

최근 연구

AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.