论文解读 · 2026年10月22日

Matrix-Game 4.0：用视频模型构建可实时游玩的游戏世界

Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds

通过分工让游戏引擎负责状态和规则、视频模型只负责渲染，实现了在单张消费级 GPU 上以 480p、60FPS 游玩的生成式游戏。

问题

仅靠视频生成来维持世界的交互式世界模型存在四个问题：没有从外部校正状态的手段；自回归生成误差不断累积；基于帧的记忆成本持续增长；难以支持移动以外的游戏规则。真实游戏同时需要持久的世界状态、可执行的规则和低延迟。

方法

系统由三个组件构成。轻量游戏引擎用代码管理生命值、碰撞、任务等状态和规则，并绘制简单的 low-poly 代理画面。多模态编码智能体将玩家的自然语言想法转换为游戏代码和场景描述。基于 Wan2.2 5B 的视频渲染器以代理画面、动态字幕和空间记忆帧为条件生成高画质帧。训练使用通过 Unreal Engine 5 采集的对齐 low-poly/高画质视频对。之后将其蒸馏为以 4 帧为单位进行 1~2 步去噪的 causal 生成器，并对推理进行了优化。

结果

在单张 RTX 5090 上实现了 480p、60FPS 的游戏体验，从按键到画面显示的延迟为 112ms。
1 步生成时的稳态吞吐量为 83FPS，峰值 GPU 显存为 18.2GiB。
作者报告称，固定提示词时，RTX 5080 上为 67FPS，RTX 5070 Ti 上为 58FPS，在 16GiB 级 GPU 上也能运行。
在 4 个场景中构建了 114,334 个片段、1,712 小时的对齐 low-poly/高画质训练数据，并演示了射击和驾驶游戏示例。

局限

每款游戏需要单独训练模型，训练数据仅限于 UE5 的 4 种场景类型。在已查阅的正文范围内，未找到对生成画质的定量比较结果。分辨率为 480p，性能指标主要是吞吐量和延迟。这篇论文属于技术报告性质，多人游戏等部分路线图以愿景形式提出。

意义

提出了不把世界状态管理全部交给视频模型，而是按“规则归引擎、画面归模型”分工的设计。这是将生成式游戏带到实时、本地环境的一条具体路径。代码、权重和资源均已公开，可直接用于游戏原型研究。

关键术语

Low-poly 代理: 用简单几何体只表示场景结构和运动的画面，例如用方块表示建筑、用圆柱表示树木。视频模型会将其重新绘制为高画质画面。
动态字幕（Dynamic caption）: 将引擎提供的当前可见物体及其状态填入模板，随时根据场景更新的文本条件。
Few-step Distillation: 将原本需要数十步去噪的扩散模型蒸馏为仅用 1~2 步即可得到相近结果，从而提升速度的技术。
Game harness: 包裹视频模型、负责世界状态和规则执行的外部系统（引擎+智能体）。

原文

作者: Jihai Zhang, Runjia Qian, Kaiqin Kong, Biao Jiang, Puyi Wang, Siru Chen, Tianle Li, Guanjie Chen, 等 · 发布 2026-10-20 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。