世界动作模型（WAM）：同时预测动作及其结果的机器人模型

为什么需要：只学动作的策略留下的空白

教机器人做事，核心是策略（policy）。策略是一个函数，它根据摄像头画面和任务指令，输出下一步关节和夹爪的运动指令。近来，在预训练视觉-语言模型之上构建策略的 VLA（视觉-语言-动作模型）被广泛使用。但 Forward Dynamics Models 研究（paper）指出，VLA 的局限在于它在没有关于未来世界状态的显式监督的情况下进行学习。也就是说，它只模仿示范数据中的动作，却不学习这些动作如何改变世界。

另一边是世界模型（World model）。世界模型预测的是“在当前这种场景下这样动，下一个场景会怎样”。不过正如 World-Action Model 论文（paper）所指出的，现有世界模型仅通过图像预测来训练，无法保证其内部表示包含控制所需的结构。它可能画得很好，却不知道什么与动作相关。

世界动作模型（World Action Model，WAM）把两者合并到一个模型中。其思路是联合学习动作预测和未来观测预测，让动作获得“未来”这一额外信号，同时让世界模型学到与动作相关的结构。

核心思想：行动前先在脑中描绘结果的驾驶员

熟练的驾驶员在打方向盘之前，会先在脑海中想象车会往哪边滑。方向盘操作（动作）和由此改变的景象（未来观测）在脑中被捆成一个整体。WAM 就是把这种感觉变成了模型结构。DroneWAM 研究（paper）解释说，WAM 能预判候选动作将如何改变未来观测，并基于预测结果采取行动。

重要的是，未来预测本身并不是目的。要预测准未来，模型必须在内部表示中包含“什么在动，我的动作改变了什么”。这样形成的表示又反过来帮助动作预测。因此在 WAM 研究中，反复出现的核心问题不是“未来画得多漂亮”，而是“在什么表示空间中预测未来”。

下面的对比整理了 VLA 和 WAM 各自从哪里出发、用什么作为监督信号。Forward Dynamics Models 研究（paper）总结说，VLA 以预训练视觉-语言模型（VLM）为起点，WAM 则以视频生成模型为起点。

工作原理：一个主干，两个输出

把工作流程分步来看：第一，编码器把当前摄像头画面（也可能是多个视角）和机器人状态映射到表示空间。第二，将其与任务指令一起输入共享主干（模型的躯干）。第三，主干同时输出未来若干步的动作序列（动作块）以及执行这些动作之后的未来状态。第四，机器人执行动作块的前一部分，获取新的观测后再次预测。训练时，示范数据中的真实动作和真实未来画面分别监督这两个输出。

根据主干的设计方式，分出不同流派。一种做法如 Spatially Aware WAM（paper），引入大规模预训练视频扩散模型（通过逐步去噪来生成视频的模型），同时生成动作和未来视频。其优点是可以继承从互联网规模视频中学到的视觉和物理知识。Riemann-1.0（paper）把观测、机器人状态和动作串成一个因果序列，构建为自回归模型（根据前面的内容依次预测下一个的模型）。DroneWAM（paper）采用 JEPA 结构，不直接绘制未来图像，只在表示空间中预测未来状态。

同一个模型可以有两种用途，也是一个特点。Riemann-1.0（paper）表示，一个模型既是可执行的机器人策略，也能充当输入动作即可展示未来画面的模拟器。World-Action Model 论文（paper）展示了把学到的世界模型固定下来，在其中用 PPO 强化学习打磨策略的方式，也就是在想象中练习。

发展脉络：用什么来表示未来

World-Action Model 论文（paper）在现有世界模型 DreamerV2 的基础上加入了逆动力学目标，即“观察两个潜在状态之间的变化，推断其间执行了什么动作”的任务。这样一来，表征就会包含与动作相关的结构。在 CALVIN 基准的 8 项操作任务中，行为克隆（直接模仿示范来学习）的平均成功率从 59.4% 提高到 71.2%。在模型内部用 PPO 微调后，成功率达到 92.8%，而基线为 79.8%，且训练步数少 8.7 倍。

JOPAT（paper）正面应对了像素预测的弱点。预测像素时，运动会与光照、纹理等干扰因素混在一起。因此，它在同一个扩散 Transformer 中联合预测潜在视频、包含可见性信息的 2D 点追踪（Point Track）以及动作。点追踪显式地刻画运动，在遮挡或移出画面时也依然稳健。论文报告称，在包含遮挡、物体交互和画面外运动的长时程任务中，改进幅度最大。

8～9 月，表征和规模都有所扩展。Spatially Aware WAM（paper）在 RGB 之外加入了深度（Depth）。它对深度值做非线性变换，使其落入冻结的 VAE tokenizer 能够接受的范围，因此无需专门针对 3D 的微调，就能完整保留预训练知识。ReWAM（paper）通过对照比较得出结论：“重建效果好的表征”和“预训练的感知特征”单靠自身都不能保证得到好的策略。因此，它将 DINO 特征整理为压缩的世界状态，并且只让动作损失的梯度流入表征瓶颈。这相当于做了分工：表征包含什么由策略决定，表征如何变化由世界模型学习。在没有视频生成预训练的情况下，它在 RoboTwin 2.0 上取得了 93.6%。

在规模方面，Riemann-1.0（paper）使用了超过 20 万小时的交互数据。它在同一目标下分阶段学习第一人称视角视频、手持夹爪示范以及多种机器人的轨迹，报告的结果为 RoboTwin2.0 94.3%、LIBERO 99.0%、长时程复合任务基准 RoboCasa-365 62.6%。应用范围也扩展到了机械臂之外。DroneWAM（paper）将 WAM 用于无人机视觉导航，并引入“自适应 Rollout”，根据场景决定向未来想象多少步，在把平均预测深度从 8 降到 4.58 的同时提高了轨迹精度。

最新方向：更小、更快、只在需要时使用

2026 年 10 月的研究集中在成本问题上。MiniWAM（paper）认为，直接把预训练视觉骨干网络的高维特征作为未来目标，训练成本很高。因此，它用结合了逆动力学监督与特征重建的 PRISM 编码器，构建出只包含对控制重要的状态转移信息的压缩目标。未来特征 token 减少到原来的 1/65，性能却优于预测原始特征的方式，训练速度最高快 8 倍。论文报告称，它以 0.25B 参数达到了可与大得多的 WAM 相竞争的水平。

SmolWAM（paper）面向边缘设备。它以 2B 参数的 Cosmos Policy 作为教师模型，在 28 个 Transformer 块中只保留 12 个，并重新设计了输入接口。在 LIBERO 的 400 个 episode 中成功率为 95.5%，处理 16 个动作的动作块耗时 57ms，GPU 显存占用 2.4GiB。论文称，它比教师模型快 11 倍、显存占用少 3.2 倍，同时仍保留了预测未来场景运动的能力。

Forward Dynamics Models 研究（paper）反转了方向。如果先预测未来、再据此决定动作，推理会变慢，预测误差也会传导到动作上。因此，它只让未来预测以动作特征为条件，而阻断了反方向。训练时，真实未来通过动作特征来监督策略；推理时则完全跳过未来生成。论文报告 LIBERO 平均 99.4%，在真实机器人任务中相比 VLA 和 WAM 方法最高提升 13 个百分点（绝对值）。总的来看，可以看到一种趋势：未来预测的角色正在从“推理时必须运行的组件”转向“辅助训练的信号”。

局限与争议

第一，表征的选择没有标准答案。正如 ReWAM（paper）所示，重建质量高并不意味着策略更好。Spatially Aware WAM（paper）专门分析了世界模型的预测质量与实际 Rollout 成功率之间的相关性，这反映出一种问题意识：“把未来画得好”和“把事情做好”并不会自然等同。

第二，成本与误差传播。基于视频扩散的 WAM 能力强，但很重。SmolWAM（paper）指出，最强的那些模型计算成本太高，难以在边缘设备上运行；Forward Dynamics Models 研究（paper）则指出，以预测出的未来为条件来决定动作，会让视觉预测误差传导到动作上。

第三，安全性。TAPDreamer（paper）是一项对抗样本研究：仅用公开的编码器制作一个固定补丁，贴在摄像头输入上。它无需查询被攻击模型，就能在不同任务和动作结构上都奏效。一个覆盖约 6.5% 输入的补丁，就让 FastWAM 的成功率在 LIBERO 40 项任务上从 97.7% 降到 0.0%，在 RoboTwin 50 项任务上从 90.86% 降到 0.0%。同样大小的随机补丁下，成功率仍保持在 81.5% 和 79.2%。由于多个任务共享同一个视觉编码器，这意味着一个编码器出问题，所有任务都可能一起出问题。

第四，如何解读数字。本文中的成功率大多来自 LIBERO、RoboTwin、CALVIN 等仿真基准，而且在 LIBERO 上已有多个模型集中在 99% 附近。真实环境评估中，各研究的任务和条件不同，难以直接比较。不应把基准分数直接等同于实际现场性能。

延伸学习

若想先理解概念，World-Action Model 论文（paper）是不错的起点。它在熟悉的世界模型（DreamerV2）上只加了一个逆动力学目标，以最简单的方式展示了“为什么动作信号能让表征变得更好”。接着连读 JOPAT（paper）和 ReWAM（paper），就能把握这个领域的核心问题：“不预测像素的话，应该预测什么”。

如果想了解全局，可以看 Riemann-1.0（paper）和 Spatially Aware WAM（paper）。前者代表自回归方式和大规模数据，后者代表复用预训练视频扩散模型的方式。机械臂之外的应用以及 JEPA 式潜在预测，DroneWAM（paper）展示得很清楚。

最新动向可按 MiniWAM（paper）、SmolWAM（paper）、Forward Dynamics Models（paper）的顺序阅读，能看出“压缩 → 轻量化 → 推理时省略未来”的脉络。如果在考虑实际部署，最好一并阅读 TAPDreamer（paper），提前了解鲁棒性问题。