OpenGCUA: 범용 컴퓨터 사용 에이전트를 위한 완전 공개 스택

문제

컴퓨터 사용 에이전트는 화면 클릭 중심에서 셸·접근성 트리·API·코드 실행을 섞어 쓰는 방향으로 바뀌고 있다. 하지만 GPT-6 Astra 같은 최전선 시스템은 프롬프트, 하네스, 실행 Trajectory가 공개되지 않아 어떤 설계가 성능과 비용에 영향을 주는지 연구하기 어렵다.

방법

범용 컴퓨터 사용 에이전트(GCUA)를 '무엇을 관찰할지, 어떻게 행동할지, 작업을 어떻게 관리할지'를 모델이 매 스텝 직접 정하는 시스템으로 정의했다. GUI·CLI·하이브리드 에이전트는 이 중 일부 결정을 미리 고정한 특수한 경우로 본다. 구현의 핵심은 두 가지다. 첫째, GUI 조작과 프로그램 호출을 하나의 코드로 쓰게 해서 중간 결과에 따라 조건문·반복문·검증이 한 번의 모델 호출 안에서 돌아가게 했다. 둘째, 스크린샷 시점이나 작업 상태 추적처럼 하네스 규칙으로 고정돼 있던 결정을 모델에 넘겼다(harness-to-model decision transfer). 실제 기기용 하네스와 컴퓨터·모바일·브라우저 공통 SDK의 초기 버전도 함께 공개했다.

결과

• OSWorld-v2 오프라인 세트에서 전체 구성은 GUI 동작을 묶어 실행하는(batched GUI-only) 기준보다 GPT-6 Astra, Claude Opus 5를 포함한 8개 모델 모두의 점수를 높였다. 평균 부분 점수는 19.6점 올랐고, 작업당 스텝 수는 평균 53.0% 줄었다.
• 같은 GUI·셸 접근 조건에서 코드 실행은 GUI+CLI 기준보다 평균 부분 점수를 6.1점 높이고 스텝 수를 14.8% 줄였다.
• 필요할 때만 화면을 관찰하게 하자 두 모델의 캐시 적중률이 각각 10.5%p, 14.4%p 올랐고 점수는 떨어지지 않았다.
• 실제 macOS 작업 4개에서 Qwen3.8-Max는 GPT-6 Astra보다 추론 토큰을 19.4배, 전체 출력 토큰을 5.7배 썼고 완료한 작업은 더 적었다.

한계

이번 공개에는 학습된 모델이 없다. 실제 기기 하네스와 SDK는 초기 버전이다. 실제 기기 비교는 macOS 작업 4개, 선택된 실행에 한정돼 일반화하기 어렵다. 벤치마크 결과도 OSWorld-v2 오프라인 세트 하나에 기반한다.

의미

업무 자동화 에이전트를 만들 때 '화면 클릭' 대신 '코드로 묶어 실행'하고 관찰 시점을 모델에 맡기면 정확도와 비용을 함께 개선할 수 있다는 근거를 준다. 8개 모델의 실행 Trajectory가 공개돼 설계를 비교·재현하기 좋다.

핵심 용어

GCUA(Generalist Computer-Use Agent)

화면 조작과 셸·API 같은 프로그램 접근을 모두 쓰면서, 매 스텝 관찰·행동·작업 관리 방식을 모델이 스스로 고르는 컴퓨터 사용 에이전트.

하네스(Harness)

모델 바깥에서 관찰 제공, 행동 실행, 컨텍스트 관리를 담당하는 실행 틀. 예를 들어 '매 스텝 스크린샷 찍기' 같은 규칙이 여기에 들어간다.

접근성 트리(Accessibility Tree)

운영체제가 화면 요소의 역할·이름·값을 구조화해 제공하는 정보. 좌표 없이 요소를 직접 조작할 수 있다.

Batched Actions vs 코드 실행

Batched Actions는 한 번에 여러 동작을 미리 정해 보내는 방식이고, 코드 실행은 실행 중 결과에 따라 분기·반복·검증할 수 있는 프로그램을 보내는 방식이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Hanzhang Zhou, Long Li, Quyu Kong, Lei Wang, Panrong Tong, Long Chen, Tianyu Xia, Gongjie Zhang, 외 · 게시 2026-10-15 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.