Matrix-Game 4.0: 비디오 모델로 실시간 플레이 가능한 게임 월드 만들기

문제

비디오 생성만으로 월드를 유지하는 인터랙티브 월드 모델에는 네 가지 문제가 있다. 외부에서 상태를 교정해 줄 수단이 없고, 자기회귀 생성 오류가 쌓이며, 프레임 기반 메모리 비용이 계속 늘고, 이동 외의 게임 규칙을 지원하기 어렵다. 실제 게임에는 지속되는 월드 상태, 실행 가능한 규칙, 낮은 지연이 모두 필요하다.

방법

시스템은 세 구성 요소로 이뤄진다. 경량 게임 엔진은 체력, 충돌, 퀘스트 같은 상태와 규칙을 코드로 관리하고 단순한 low-poly 프록시 화면을 그린다. 멀티모달 코딩 에이전트는 플레이어의 자연어 아이디어를 게임 코드와 장면 설명으로 옮긴다. Wan2.2 5B 기반 비디오 렌더러는 프록시 화면, 동적 캡션, 공간 메모리 프레임을 조건으로 받아 고화질 프레임을 만든다. Unreal Engine 5로 정렬된 low-poly·고화질 영상 쌍을 수집해 학습했다. 이후 4프레임 단위로 1~2스텝 디노이징하는 causal 생성기로 Distill하고 추론을 최적화했다.

결과

• RTX 5090 한 장에서 480p·60FPS 게임플레이를 구현했고, 키 입력부터 화면 표시까지 지연은 112ms였다.
• 1스텝 생성 시 정상 상태 처리량은 83FPS, 최대 GPU 메모리는 18.2GiB였다.
• 프롬프트를 고정하면 RTX 5080에서 67FPS, RTX 5070 Ti에서 58FPS로 16GiB급 GPU에서도 돌아간다고 저자들은 보고했다.
• 4개 장면에서 114,334개 클립, 1,712시간 분량의 정렬된 low-poly·고화질 학습 데이터를 구축했다. 슈팅·드라이빙 게임 예시를 시연했다.

한계

게임마다 모델을 따로 학습하며, 학습 데이터는 UE5의 4개 장면 유형에 한정된다. 확인한 본문 범위에서는 생성 화질을 정량 비교한 결과를 찾지 못했다. 해상도는 480p이고, 성능 지표는 주로 처리량과 지연이다. 이 논문은 기술 보고서 성격이며, 멀티플레이 등 로드맵의 일부는 비전으로 제시됐다.

의미

비디오 모델에 월드 상태 관리를 모두 맡기지 않고 '규칙은 엔진, 그림은 모델'로 나누는 설계를 제시했다. 생성형 게임을 실시간·로컬 환경으로 가져오는 구체적인 경로다. 코드, 가중치, 에셋이 공개돼 게임 프로토타이핑 연구에 바로 쓸 수 있다.

핵심 용어

Low-poly 프록시

건물은 상자, 나무는 원기둥처럼 단순한 도형으로 장면 구조와 움직임만 표현한 화면이다. 비디오 모델은 이를 고화질로 다시 그린다.

동적 캡션(Dynamic caption)

엔진이 알려 주는 현재 보이는 객체와 상태를 템플릿에 채워, 매 순간 장면에 맞게 갱신하는 텍스트 조건이다.

Few-step Distillation

수십 단계 디노이징이 필요한 확산 모델을 1~2단계만으로 비슷한 결과를 내도록 Distill해 속도를 높이는 기법이다.

Game harness

비디오 모델을 감싸 월드 상태와 규칙 실행을 맡는 외부 시스템(엔진+에이전트)이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 프로젝트
• Hugging Face

저자: Jihai Zhang, Runjia Qian, Kaiqin Kong, Biao Jiang, Puyi Wang, Siru Chen, Tianle Li, Guanjie Chen, 외 · 게시 2026-10-20 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.