CUA-Master: 오픈 월드 재귀 개선으로 컴퓨터 사용 에이전트 확장하기

문제

컴퓨터 사용 에이전트(CUA)를 학습시킬 상호작용 데이터는 다양성·제어 가능성·신뢰성이 모두 부족하다. 기존 파이프라인은 데이터를 만든 뒤 학습하는 한 방향 구조여서, 모델의 약점이 다음 데이터 생성에 반영되지 않는다. 스스로 생성한 경험에 의존하는 재귀 개선 방식은 모델이 이미 아는 범위에 갇혀 개선 폭이 점점 줄어든다.

방법

구조는 이중 루프다. 바깥 루프(world-data-model 플라이휠)는 외부 지식을 계속 들여오고, 모델의 약점을 다음 데이터 탐색과 학습의 방향으로 삼는다. 안쪽 데이터 플라이휠은 두 부분이다. (1) 오픈 월드 시딩: 8개 대분류·36개 하위 분야·650여 개 앱 분류를 기준으로 YouTube·TikTok·Bilibili 튜토리얼 영상을 모으고 필터링한다. 영상에서 작업을 분할한 뒤, 음성 전사의 동작 표현(semantic)과 화면 변화(visual)를 함께 써서 Trajectory를 재구성한다. (2) Autocatalytic propagation: 시드 작업을 앱·능력·선행 조건·환경 요구사항·검증기로 이루어진 Primitive로 추상화한다. 그리고 Primitive 개수와 관련 앱 수로 복잡도를 조절하며 검증 가능한 새 작업을 합성한다. Rollout을 수집할 때는 피드백 기반 스냅샷 롤백 재시도로, 유효한 앞부분 실행은 살리고 실패 지점부터 다시 시도한다. 행동 공간은 GUI와 CLI를 함께 쓴다. 인프라는 100개 이상의 환경과 동시 2,000개 이상의 VM을 지원한다.

결과

• CUA-Master-27B는 OSWorld Verified 80.2, OSWorld 2.0 36.9, WeaveBench 43.9, Agents' Last Exam 25.0점을 기록했다.
• 저자들은 이 성능이 훨씬 큰 모델이나 비공개 모델에 근접하며 실행 효율도 높다고 보고했다.
• 저자들은 이 플라이휠이 데이터 합성의 품질·효율과 데이터 분포의 다양성을 높였고, 재귀 반복을 거듭할수록 성능이 계속 올랐다고 보고했다.

한계

영상에서 재구성한 Trajectory에는 주석 노이즈가 있을 수 있다. 이 Trajectory가 대상 환경에서의 실제 실행과 일치한다는 보장도 없다고 저자들이 밝혔다. 작업 분할·주석·검증 대부분을 더 강한 주석 모델에 의존한다. 수천 개 VM 규모의 인프라가 필요해 재현 비용이 크다. 제공된 본문 범위에서는 반복 단계별 수치나 기준 모델과의 세부 비교를 확인할 수 없다.

의미

업무 자동화용 컴퓨터 사용 에이전트의 병목은 모델보다 데이터인 경우가 많다. 공개 튜토리얼 영상을 실제 업무 흐름의 출처로 쓰고, 모델 약점에 맞춰 데이터를 계속 보충하는 파이프라인 설계는 자체 에이전트 데이터를 구축하는 팀에 참고가 된다.

핵심 용어

CUA(Computer-use Agent)

스크린샷을 보고 마우스·키보드나 셸 명령으로 실제 컴퓨터 소프트웨어를 조작해 작업을 수행하는 에이전트다.

Primitive

시드 작업에서 뽑아낸 앱 단위의 재사용 가능한 능력 단위다. 실행 조건과 검증 방법을 함께 담고 있어 조합해서 새 작업을 만들 수 있다.

스냅샷 롤백 재시도

Rollout 중 실패가 생기면 처음부터 다시 하지 않고, 저장해 둔 이전 환경 상태로 되돌려 실패 구간만 다시 시도하는 방식이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Xinlei Yu, Gen Li, Ji Zhao, Zhangquan Chen, Congcong Wang, Shuai Dong, Zelin Peng, Yuqi Xu, 외 · 게시 2026-11-02 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.