논문 리뷰 · 2026년 10월 16일
Player-1: 합성 경험으로 게임 플레이를 학습하는 에이전트
Player-1: Learning to Play from Synthetic Experience
컴퓨터 사용 에이전트의 행동 공간을 게임용으로 넓히고, 16개 합성 환경에서 강화학습을 해 학습에 쓰지 않은 게임에서도 조작 성능을 크게 올렸다.
문제
컴퓨터 사용 에이전트는 화면을 읽고 키보드·마우스를 다룰 수 있다. 하지만 정밀 조준, 지속 이동, 동시 입력이 필요한 게임에는 아직 약하다. 시연 데이터는 게임에서 나올 수 있는 상태를 일부만 담고 있고, 상용 게임에 프로그램으로 보상을 붙여 대규모 상호작용 학습 환경을 만들기도 어렵다.
방법
먼저 행동 공간에 상대적 포인터 이동, 키 누르고 있기(hold), 여러 입력을 동시에 실행하는 복합 행동을 추가했다. 그다음 6,044개 게임 플레이 Trajectory(295,097턴)를 이 행동 공간에 맞게 정리하고, VLM으로 과제 지시문과 단계별 시각 추론을 붙여 파인튜닝(SFT)했다. 이어서 조준·전투·주행·내비게이션·UI 조작 다섯 계열로 구성한 2D·3D 합성 환경 16개(Player-1-Gym)를 만들었다. 이 환경들은 게임 상태로 검증 가능한 보상을 주고, 외형·카메라·장면·조작 감도를 무작위로 바꾼다. 마지막으로 환경별 Advantage 정규화를 적용한 PPO로 Qwen3.5-9B와 35B-A3B를 함께 학습했다.
결과
- MineDojo-300 성공률에서 Player-1-9B는 SFT 단계의 10.54%에서 38.33%로 올랐다. 가장 강한 외부 기준선 GameWAM(12.63%)보다 높다.
- Player-1-35B-A3B는 MineDojo-300에서 SFT 23.38%에서 41.04%로 올랐다(+17.7%p).
- 9B 모델에서 8번 중 4번 이상 성공한 과제 수가 300개 중 20개에서 136개로 늘었다.
- 저자들은 강화학습 학습 환경에 없던 ViZDoom-10과 GameWorld에서도 SFT보다 성능이 높아졌고, 합성 환경을 더 다양하게 쓸수록 전이가 좋아졌다고 보고했다.
한계
강화학습은 200 step으로 진행됐고, 합성 환경은 저자들이 만든 16개뿐이다. 외부 기준선은 저자들의 평가 프로토콜에서 측정했다. MineDojo의 수집(Harvest) 과제 성공률은 강화학습 후에도 10~12% 수준으로 낮다. 제공된 본문이 잘려 있어 ViZDoom·GameWorld의 최종 수치와 Ablation 세부 결과는 확인하지 못했다.
의미
실제 게임마다 보상을 만들지 않아도, 공통 조작 능력을 겨냥한 합성 환경만으로 다른 게임에 전이되는 학습이 가능하다는 근거를 보여준다. 컴퓨터 사용 에이전트를 실시간 조작이 필요한 영역으로 넓히려는 팀에 참고가 된다.
핵심 용어
- 컴퓨터 사용 에이전트(CUA)
- 스크린샷을 보고 키보드·마우스 행동을 출력해 디지털 작업을 수행하는 에이전트다.
- 복합 행동(Composite Action)
- 한 제어 단계 안에서 여러 키·마우스 입력을 동시에 실행하는 행동이다. 예를 들어 W를 누른 채 Space를 눌러 달리면서 점프한다.
- RLVR
- 프로그램으로 검증할 수 있는 보상을 쓰는 강화학습이다. 여기서는 게임 점수 변화를 단계별 보상으로 쓴다.
- 환경 무작위화(Environment Randomization)
- 색상, 카메라, 배치, 조작 감도 같은 환경 요소를 학습 중에 무작위로 바꿔 특정 환경에 과적합하지 않게 하는 기법이다.
원문
저자: Mingyu Ouyang, Yiran Wang, Siyuan Hu, Xingyilang Yin, Huiqiang Sun, Guangzhi Wang, Junfu Pu, Cheng Cheng, 외 · 게시 2026-10-14 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.