SoftwareGym: 다양한 합성 소프트웨어 환경으로 컴퓨터 사용 에이전트 학습 확장

문제

컴퓨터 사용 에이전트(CUA)를 학습하려면 다양하고 신뢰할 수 있는 실행 환경이 필요하다. 실제 네이티브 앱은 연동 비용이 커서 앱 범위가 좁고 특정 앱에 과적합될 위험이 있다. 브라우저 기반 합성 환경은 상호작용 깊이와 워크플로 복잡도가 부족하다.

방법

설계·구현·평가 3단계의 자동 파이프라인이다. 설계 단계에서는 최소한의 입력을 상세 기능 명세로 확장하고, 구조적으로 다른 Avalonia UI 청사진과 SVG 아이콘을 여러 개 만든다. 이때 레이아웃 트리 편집 거리로 변형 간 차이를 강제한다. 구현 단계에서는 코딩 에이전트가 앱을 만들고 소스 수준에서 검증한다. 평가 단계에서는 GUI 에이전트가 체크포인트 기반 테스트를 실행하고, 실패 기록으로 최대 3버전까지 반복 수정한다. GUI로 검증된 기능만으로 난이도별 과제를 합성한다. 수집한 Trajectory로 Qwen3.5-9B를 멀티모달 SFT 했다.

결과

• 12개 카테고리에서 실행 가능한 앱 182개를 합성했고, 평균 GUI 과제 통과율은 91.5%였다.
• SoftwareGym Trajectory만으로 학습한 모델이 OSWorld 앱·과제를 전혀 쓰지 않고도 OSWorld(244개 과제) Pass@3를 41.39%에서 56.97%로 15.58%p 올렸다.
• 12개 카테고리, 120개 과제로 구성한 SoftwareGym-Bench에서 Pass@3 40.0%를 기록했다. 저자들은 일부 더 큰 전문 CUA보다 높다고 보고했다.
• 저자들은 수작업 개발보다 시간과 비용이 크게 적게 든다고 보고했다.

한계

합성 앱이 Avalonia 기반 데스크톱 앱에 한정된다. 설계·구현에는 GPT-5.5, GUI 평가에는 Seed 2.1 Pro 같은 상용 모델을 쓴다. 학습은 SFT만 했다. 학습 모델의 OSWorld 점수(56.97%)는 GPT-5.5(71.31%) 같은 API 모델보다 여전히 낮다. 평가는 온도 1, 3회 Rollout 기준 Pass@3다.

의미

실제 앱을 일일이 연동하지 않고도 다양한 GUI 학습 환경을 대량으로 만들 수 있고, 그 데이터가 처음 보는 실제 앱으로 전이된다는 것을 보였다. 컴퓨터 사용 에이전트의 데이터 병목을 푸는 한 방향이다.

핵심 용어

컴퓨터 사용 에이전트(CUA)

화면을 보고 마우스·키보드 조작으로 실제 소프트웨어 작업을 수행하는 AI 에이전트다.

OSWorld

Chrome, GIMP, LibreOffice 등 실제 데스크톱 앱에서 에이전트의 과제 수행을 평가하는 벤치마크다.

Pass@3

같은 과제를 독립적으로 3번 시도했을 때 한 번이라도 성공하면 성공으로 치는 지표다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• Hugging Face

저자: Tian Jin, Wenhao Wang, Jing Kang, Haoting Shi, Rui Ye, Yijun Lu, Siheng Chen · 게시 2026-10-08 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.