世界模型：在脑中模拟世界

为什么需要它：只靠试错来学习的方式的局限

强化学习（通过获得奖励、以试错方式学会行动的方法）的基本做法，是在环境中亲自动一动来找出什么是好的行动。这种不另外学习环境运作原理、只学习行动的方式被称为「无模型（model-free）」。World Models（paper）指出了这种方式的弱点。由于要判断某个行动对后来的奖励贡献了多少的「信用分配（credit assignment）」问题，难以训练拥有数百万权重的大型神经网络。因此实践中常常使用收敛快的小型网络，这篇论文把典型的无模型强化学习模型的参数规模列为 1 千~100 万个。

第二个局限是通用性。根据 DreamerV3（paper），要把强化学习算法从电子游戏迁移到机器人这样的新领域，重新调整超参数（训练设置值）需要相当的专业知识和计算资源。为每个领域单独做专用算法的情况很常见。

第三是现实中的成本。很难让机器人通过把真实物体掉落数千次来学习。出于这些原因，「先学会世界如何运转，再在其中预先练习」的想法获得了力量。这就是世界模型。

核心思想：脑中的模拟器

World Models（paper）举了棒球击球手的例子。决定是否击打以时速 160km 飞来的球的时间，比眼睛看到的信号到达大脑的时间还短。之所以仍然能打中，论文的解释是因为用脑中的模型预先预测了球会在何时、飞向何处。这篇论文还引用了系统动力学研究者 Forrester 的话：我们在脑中持有的世界图景并不是整个世界，而是只挑出若干概念及其关系装进去的「模型」。

世界模型是试图给 AI 这样一个脑中模型。核心有两点。第一，不是记住画面的所有像素，而是换成只装入重要内容的小摘要（潜在表征）。第二，预测「在当前状态下做这个行动，下一个状态会怎样」。具备这两点之后，不必实际动起来也能预先推演多种行动的结果。

打个比方，世界模型是个人用的飞行模拟器。不同的是，与由人直接把物理定律编码进去的一般模拟器不同，它是看着观察数据自行学习出模拟器的。因此它看起来与数字孪生（用软件复制真实对象的模型）相似，但在规则是从数据中学来的这一点上出发点不同。

如何运作：压缩 → 预测 → 在想象中练习

World Models（paper）把智能体分为三部分。V（Vision）把每一时刻的图像帧压缩成小的潜在向量，这里用了 VAE（变分自编码器，把输入压缩后再复原、从而学会做摘要的神经网络）。M（Memory）基于 RNN（循环神经网络），根据过去的信息预测下一个潜在向量。由于环境是随机的，它给出的不是一个值而是概率分布。C（Controller）是只看 V 和 M 造出的表征来选择行动的极小模型。这是一种分工结构：大的世界模型负责表达能力，小的控制器在狭窄的搜索空间里解决信用分配这个难题。

DreamerV3（paper）把同样的想法打磨得更细。编码器把感官输入换成概率性表征，带有循环状态的序列模型接收过去的行动并预测下一个表征。在这个状态下还预测奖励和「回合是否继续」，并通过训练它复原输入，使表征装入有用的信息。在其之上，Critic（为每个结果评定价值的神经网络）和 Actor（选择通向最有价值结果的行动的神经网络）用世界模型想象出来的轨迹进行学习。

按顺序整理如下。① 在真实环境中收集观察。② 训练世界模型压缩观察并预测下一个状态。③ 在世界模型内部用想象推演（rollout）多种行动来练习策略。④ 在真实环境中执行练过的策略，再重新收集新的观察。World Models（paper）还表明，极端情况下可以只在世界模型造出的「梦」里训练智能体，然后迁移到真实环境。

发展脉络：从游戏中的梦到真实的机械臂

World Models（paper，2018）从 1990~2015 年间把基于 RNN 的世界模型与控制器结合起来的一系列研究中提炼出核心概念，并用简单的框架做了实验。它表明，以无监督方式（没有正确答案标签）快速学习环境的空间·时间表征，再把这些特征用作输入，即使是非常小而简单的策略也能解决任务。这是把梦中学习与向现实迁移这一图景普及开来的起点。

DreamerV3（paper，2023）回答了「能否不改设置就用于任何领域」这一问题。得益于归一化、平衡调整、值变换等稳定化技巧，它用一套固定的设置在 150 多个各不相同的任务上胜过了专用算法。它还强调自己是第一个在没有人类数据、也没有分阶段课程的情况下，在 Minecraft 中从零开始采到钻石的算法。报告称模型越大分数越高，解决任务所需的环境交互也越少。

V-JEPA 2（paper，2025）改变了数据的来源。它先以 JEPA（联合嵌入预测架构，在表征空间而非像素空间进行预测的结构）方式，在超过 100 万小时的互联网视频上进行了不含行动信息的预训练。随后用 Droid 数据集中不足 62 小时的无标签机器人视频，对行动条件世界模型（V-JEPA 2-AC）做了后训练。把这个模型原样装到两个实验室的 Franka 机械臂上，以给定目标图像进行规划的方式完成了物体的抓取搬运。这一结果是在没有采集该环境的机器人数据、没有任务专用训练、也没有奖励设计的情况下取得的。在动作理解上，它也取得了 Something-Something v2 top-1 准确率 77.3。

把三项研究连起来看就能看到方向。它从「在小型游戏环境中做梦」→「用一套设置攻克多个领域」→「用互联网规模的观察学习物理世界，再用少量机器人数据接上行动」不断扩展。

最近走向何方：规模扩展与状态分离

第一条路线是用人类数据扩大规模。Ropedia W0（paper）提出了一个覆盖人类和多种形态机器人的第一人称视角移动操作（loco-manipulation）世界基础模型。研究者构建了 Xp-Data，收集了 1 万小时人类第一人称数据和 3 千小时机器人数据，并采用统一的运动学表征：移动用相机位姿表示，操作用投影到画面上的骨架表示。这一设计用来把身体结构各不相同的人类和机器人的行为统一到同一种表达方式中。该模型在五个跨具身（cross-embodiment）基准上取得了最佳性能，并报告称用人类数据增加预训练量后，人类和机器人评测的性能都随之提升。经过蒸馏（把大模型的能力转移到小模型上的技术）后，它能实时生成长达数分钟的推演，甚至支持 VR 交互，并展示了策略评估、基于模型的规划和 World Action Model 等用途。

第二条路线是把“看到的内容”和“实际状态”分开的设计。视频生成式世界模型可以从一张图像生成随行动变化的视频，但 State World Models（paper）指出，当结果取决于当前画面中看不到的隐藏状态时，规则往往得不到遵守。该研究的 Stateful Harness 按照既定规则单独维护世界状态，只把由此产生的事件交给一个固定的视频模型进行渲染。在一个包含 50 对样例的基准（WorldState-Bench）中，每对样例的初始画面和行动相同，但隐藏状态不同，因此结局应当不同。只在提示词中给出规则时，11 个视频模型中表现最好的一个也只有 32% 的样例对两个结局都正确。为 MiniMax-H3 明确给出所需结局后，这一比例达到 64%；为同一模型套上完整 Harness 后，提升到 92%。

把两项研究放在一起看，可以发现世界模型的用途正在从“生成逼真视频的模型”扩展到“能够规划和评估行动的模拟器”。因此，除了数据规模，如何准确地维护状态也成了重要的设计问题。

局限与争议

最大的争议是泛化。要用世界模型做规划，模型在训练时见过的状态与行动组合之外也必须预测准确。AnyGoal（paper）把这一点作为“组合泛化”来检验。研究者构造了一批对目标稍作修改的任务：其中每个状态要素和行动都在训练范围内，但它们的组合在专家轨迹中很少出现。在多个环境和多个世界模型系列中，现有模型面对这类重新组合时一致失败。这意味着，在把熟悉的片段以新方式拼合时，也就是在最需要规划的时刻，模型会出现动摇。

第二是隐藏状态问题。正如前面 State World Models（paper）的结果所示，仅靠视频模型，难以正确保持取决于画面中不可见状态的结局。外观逼真的视频并不等于准确的模拟。

第三是稳定性。DreamerV3（paper）写道，稳健地学习和利用世界模型并取得良好性能，本身就是一个长期未解决的问题。另一个常被指出的弱点是：想象中的推演越长，微小的预测误差就可能成为下一步预测的输入并不断累积。

最后是现实应用中的责任问题。对于机器人或自动驾驶这类在人身边运行的系统，在世界模型中表现良好的计划并不能保证在现实中同样安全（Sim-to-Real 差距）。阅读 V-JEPA 2（paper）的真实机器人实验时，也应考虑到它只是抓取放置这一有限任务。

延伸学习

如果是初次接触，建议先读 World Models（paper）。它把模型分为 V、M、C 三部分，结构直观；棒球击球手的比喻和“梦中学习”实验有助于理解为什么需要世界模型。该论文还同时公开了在线交互版本。

接下来，阅读 DreamerV3（paper）的学习算法一节，了解世界模型、Critic 和 Actor 如何共同训练，就能掌握现代基于模型的强化学习的基本结构。之后再读 V-JEPA 2（paper），可以看到在表征空间而非像素空间进行预测的 JEPA 系列是如何延伸到机器人规划的。

对于最新进展，把三篇论文放在一起读会比较均衡：Ropedia W0（paper）展示规模扩展的可能性，State World Models（paper）展示把状态与渲染分开的设计，AnyGoal（paper）则展示现有模型在哪里失效。