Long-WAM：World-Action 模型的上下文扩展

问题

快速的机器人控制需要足够的视觉历史来掌握物体运动和任务进展。但处理的历史越多，动作输出就越慢。此外，现有 WAM（World-Action Model）大多把以双向方式预训练的视频生成器改造用于因果控制。这类模型能够“访问”长历史，并不保证它会真正“利用”这些历史。

方法

(1) LongLive2.0-Robot：以 LongLive-2.0 的 AR 检查点为基础，用约 10,000 小时（按 window-equivalent 计）无动作标签的机器人及第一人称视频继续训练，以 Teacher Forcing 方式学习由过去预测未来。(2) Causal-to-causal 适配：保持视频 expert 的因果结构不变，接入 action expert。先对未来视频 latent 进行部分去噪（在 σ=0.9 处停止），再以其 KV 缓存为条件生成动作 chunk（IDM 方式）。(3) 部署优化：采用异步执行、流式 VAE 编码、NVFP4（W4A4）量化、CUDA Graph、单次执行调用内的 KV 复用以及按设备的内核调优。由此在 RTX 5090、DGX Spark、Jetson AGX Thor 上无需省略未来预测步骤即可实时运行。

结果

• RoboCasa GR-1：将历史长度从 0 秒增加到 19.2 秒后，成功率从 63.3% 升至 78.7%。而以双向预训练（Wan2.2）初始化的模型没有净收益。机器人领域 AR 模型与双向模型之间的差距在历史 0 秒时为 3.3 个百分点，在 19.2 秒时扩大到 17.1 个百分点。
• 在 LIBERO-Long 上，使用 2.4 秒历史后成功率从 94.5% 升至 99.5%。RoboTwin 2.0 平均 94.4%，DOMINO 34.9%，均为所比较方法中最高。
• 在 RTX 5090 上，包括未来视频 latent 预测在内，生成一个动作 chunk 耗时 107.4ms，比 BF16 eager 执行快 3.3 倍。
• 在 Unitree G1 的动态叠杯任务中成功率为 95%。同一任务中，π0.5 和 Fast-WAM 在 20 次尝试中一次也未成功。以异步方式运行 RoboTwin 2.0 时，Fast-WAM 性能下降 15.4 个百分点，LingBot-VA 下降 45.5 个百分点，而 Long-WAM 基本保持了同步执行时的成功率。
• 在 RoboCasa365 上与 GPT-6 Astra 规划器结合后，成功率从 31.4% 升至 54.4%。仅使用规划器时为 25.2%。

局限

每种历史长度都单独训练和评估了模型。最佳历史长度也因基准而异（GR-1 为 19.2 秒，LIBERO-Long 为 2.4 秒）。作者指出，历史越长，prefill、注意力和缓存成本越高。真实机器人实验每个任务只有约 20 次尝试，样本较小。由于需要大规模视频预训练和针对 NVIDIA 各硬件的调优，复现成本较高。

意义

通过实验表明，机器人策略中“更长的上下文”能否奏效，取决于视频基础模型的预训练方式。此外，还在系统层面证明了包含未来预测的 WAM 可以在边缘设备上实时运行。

关键术语

WAM(World-Action Model)

将预测未来画面的世界模型与动作生成相结合，基于预测的未来生成机器人动作的模型。

自回归（AR）视频预训练

只看过去的帧来学习预测下一帧的训练方式。与双向训练不同，它直接学习从历史通向未来的因果结构。

异步执行（Asynchronous Execution）

机器人在执行当前动作 chunk 的同时，预先推理下一个 chunk 的方式。关键在于两个 chunk 重叠的区间内动作能否平滑衔接。

NVFP4

NVIDIA 的 4 位浮点格式。本文将权重和激活值都量化为 4 位，以加速视频 expert 的计算。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Wei Huang, Bohan Zhang, Chenzhi Liu, Isabella Liu, Shuai Yang, Weian Mao, Luozhou Wang, Yicheng Xiao, 等 · 发布 2026-10-07 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。