논문 리뷰 · 2026년 11월 17일
Gamer: 장기·실시간 게임 에이전트를 위한 범용 VLA 파운데이션 모델
Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent
수만 시간의 키보드·마우스 Trajectory로 사전학습하고 SFT와 멀티턴 강화학습을 거쳐, 화면만 보고 실시간으로 게임을 플레이하는 범용 에이전트를 만들었다.
문제
기존 게임 에이전트는 게임 내부 상태, 전용 API, 맞춤 행동 공간에 의존해 다른 게임으로 일반화하기 어렵다. 현대 3D 오픈월드 게임은 몇 시간짜리 작업, 부분 관측, 지연된 보상을 요구한다. 추론 지연이 길면 관찰한 화면과 실제 게임 상태가 어긋나 제어 오류가 생기고, 온라인 강화학습의 품질도 떨어진다.
방법
Qwen3.5/Qwen3-VL을 기반으로 화면 픽셀을 입력받아 키보드·마우스 행동을 출력한다. 관측은 5Hz, 행동은 6개 블록으로 나눠 30Hz다. (1) CPT 단계: 수만 시간 분량의 다중 게임·Embodied 환경 Trajectory를 통합 행동 표현으로 바꿔 학습한다. 키 정체성에 대한 편향을 줄이려고 키 매핑을 무작위로 바꾸고, 반복 행동은 손실 가중치를 감쇠시킨다. (2) SFT 단계: LLM 보조 주석으로 만든 1천 시간 이상의 다단계 지시 데이터로 Sparse-thinking 지시 튜닝을 한다. 필요한 순간에만 추론하고, 메모리 요약을 컨텍스트 경계 너머로 넘긴다. (3) RL 단계: TA-GRPO로 유한 컨텍스트, 누적 Rollout 오류, 희소 보상 문제를 다룬다. 추론에는 자체 개발한 Streaming-vLLM을 쓴다. KV 캐시 재사용, FSM 기반 Speculative Decoding, 스트리밍 행동 전송으로 지연을 줄인다.
결과
- 저자들은 여러 3D 오픈월드 게임 과제에서 숙련 플레이어에 견줄 만한 일반화 능력과 조작 효율을 보였다고 보고했다.
- 기존 2D 게임 벤치마크들에서도 경쟁력 있는 성능을 실시간으로 냈다고 보고했다.
- 학습 데이터의 행동 스텝 중 85% 이상이 직전 행동의 반복이었다. 저자들은 반복 인지 손실 감쇠(γ=0.9)로 이 편향을 줄였다.
- GameScaling 분석을 인용해, 데이터 구성을 반영한 스케일링 법칙이 학습 게임 분포에서는 잘 맞는다고 했다. 반면 거리가 먼 미학습 게임에서는 CPT 데이터를 늘려도 이득이 계속 이어지지 않았다고 보고했다.
한계
저자들도 거리가 먼 미학습 게임에서는 CPT 데이터 확장 효과가 이어지지 않는다고 밝혔다. 제공된 본문 범위에서는 3D 게임 성능의 구체 수치와 기준선 비교를 확인하지 못했다. 평가가 주로 자사 게임(Honkai: Star Rail 등) 중심으로 보여 일반화 범위는 추가 확인이 필요하다. 지시 데이터 주석을 LLM에 의존하므로 주석 품질도 영향을 줄 수 있다.
의미
게임 전용 API 없이 사람과 같은 화면·키보드·마우스 인터페이스만으로 장시간 작업을 수행한다는 점에서, 컴퓨터 사용 에이전트와 Embodied 에이전트를 잇는 학습·서빙 레시피를 보여준다. 추론 엔진과 체크포인트 일부를 공개한다는 점도 실무에서 활용 가치가 있다.
핵심 용어
- CPT(Continued Pre-Training)
- 이미 사전학습된 모델을 새 도메인 데이터로 이어서 사전학습하는 단계다. 여기서는 키보드·마우스 조작 데이터로 범용 조작 능력을 익힌다.
- Sparse-thinking
- 매 스텝 추론하지 않는다. 경로 실패나 목표 전환처럼 중요한 결정 시점에만 명시적으로 추론해 계산 낭비를 줄인다.
- TA-GRPO
- 시간 정보를 고려하도록 GRPO를 변형한 멀티턴 강화학습 기법이다. 장기 상호작용에서 생기는 누적 실행 오류와 희소 보상 문제를 다룬다.
- Speculative Decoding
- 출력 후보 토큰을 먼저 빠르게 만든 뒤 한 번에 검증해 생성 속도를 높이는 추론 가속 기법이다.
원문
저자: Run Luo, Kuan Zhang, Qi Deng, Yukun Chen, Zhihao Yang, Yufei Zhang, Renrong Hu, Yi Zhang, 외 · 게시 2026-11-13 · 라이선스 CC BY-NC-SA 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.