논문 리뷰 · 2026년 11월 6일
GameVerse: 장기 인터랙티브 월드 모델을 위한 분 단위 게임플레이 데이터셋
GameVerse: A Minute-Scale Gameplay Dataset for Long-Horizon Interactive World Modeling
유튜브 게임 영상을 분 단위로 분할·필터링하고 검증된 카메라 궤적과 4단계 구조화 캡션을 붙인 1,655시간 데이터셋을 만들어, 월드 모델의 장기 생성 품질을 높였다.
문제
인터랙티브 월드 모델은 약 1분이 지나면 화면이 흐트러지고 장면 일관성이 무너진다. 저자들은 원인을 모델 용량보다 데이터 부족으로 본다. 기존 게임플레이 데이터는 대부분 10초 미만 클립이고, 클립 전체를 한 줄로 뭉뚱그린 캡션만 있으며, 공개된 신뢰할 만한 카메라 궤적도 드물다.
방법
11,002개 유튜브 게임플레이 영상(4,692시간, 1080p·30~60FPS)을 수집했다. TransNetV2(급격한 장면 전환 검출)와 CLIP 의미 거리(점진적 전환 검출)로 최대 120초 장면 일관 구간을 잘랐다. 이어 OCR 기반 자막·HUD 제거, 안정성·UI 검사, 중복 제거, COVER·VBench 기반 시간 품질 평가의 다단계 필터를 적용했다. ViPE로 프레임별 카메라 포즈를 추정한 뒤 급격한 점프, 고주파 떨림, 장기 드리프트를 기준으로 걸렀다. 마지막으로 Kimi-K2.5로 전역 정적 정보, 국소 정적 정보, 동적 이벤트, 에이전트 행동의 4단계 캡션을 고정 시간 창이 아닌 이벤트 경계에 맞춰 달았다.
결과
- 최종 데이터셋은 69.7K 클립, 1,655시간, 3억 4,960만 프레임이며, 이 중 1,358시간이 연속 2분 시퀀스다. 저자들은 기존 게임플레이 데이터셋보다 약 한 자릿수 더 길다고 보고했다.
- 저자들은 비교한 공개 데이터셋(Sekai, GameGen-X, Matrix-Game 등) 중 장기 연속 영상, 검증된 카메라 포즈, 다단계 캡션, 상호작용을 모두 갖춘 것은 GameVerse뿐이라고 정리했다.
- 강력한 영상 생성 모델을 GameVerse로 파인튜닝하자, 30초 벤치마크에서 게임 도메인 기준선보다 VBench 시간 일관성·시각 품질과 WorldScore 내용 정합성·3D 일관성 등 대부분의 제어 지표가 개선됐다고 저자들은 보고했다.
한계
제공된 본문 범위에서는 파인튜닝 실험의 구체 수치와 비교 모델을 확인할 수 없다. 장기 성능 평가는 30초 벤치마크 기준이라, 분 단위 Rollout 개선이 직접 검증됐는지는 제한적이다. 포즈는 ViPE 추정값이라 엔진 수준의 정답 포즈와 다르며, 캡션은 VLM이 자동 생성했다. 원본이 유튜브 영상이므로 행동(키 입력) 레이블은 직접 제공되지 않는다.
의미
장기 일관성이 월드 모델의 핵심 병목인 상황에서, 공개 가능한 대규모 분 단위 학습 데이터를 제공한다. 대형 연구실의 비공개 엔진 데이터에 의존하던 이 분야에서 재현 가능한 공통 기반이 될 수 있다.
핵심 용어
- 인터랙티브 월드 모델
- 행동이나 카메라 입력을 받아 다음 장면을 생성하며, 조작 가능한 가상 환경을 만들어 내는 생성 모델이다.
- 카메라 궤적(Trajectory) 검증
- 추정한 프레임별 카메라 포즈에서 비물리적 점프, 떨림, 누적 드리프트를 걸러 학습 신호로 쓸 수 있게 만드는 과정이다.
- 다단계 구조화 캡션
- 정적인 장면 정보와 동적인 사건, 주인공 행동을 분리해 기술한 캡션이다. 생성 시 각 요소를 따로 조건으로 줄 수 있다.
원문
저자: Kang He, Wenshuo Peng, Chuanhao Li, Zihui Gao, Xiaojie Xu, Zhengyuan Lin, Yuzhe Ding, Donghong Ji, 외 · 게시 2026-10-27 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.