World Action Model
世界动作模型(WAM)是一种 AI 模型,它把预测周围环境将如何变化的世界模型与决定下一步动作的功能结合在一起。这个说法大约在 2026 年开始用于机器人和自动驾驶研究,目前定义尚未统一。
是什么
机器人或自动驾驶汽车如果只根据眼前所见立即行动,就很难为接下来的情况做好准备。世界动作模型在一个模型内同时处理“世界接下来会怎样”(世界)和“因此要做什么”(动作)。社区中有人将它与看到摄像头画面和指令后直接输出动作的 VLA(视觉-语言-动作模型)相比较。不过,由于这个术语较新,各研究团队所指的结构略有不同。
VLA 与世界动作模型
VLA看到即行动
- 接收画面·指令,输出动作
- 没有单独的未来预测步骤
世界动作模型预见后行动
- 先预测未来情况
- 参考预测决定动作
- 定义尚未统一
공통 两者都是直接驱动机器人·自动驾驶行动的模型
工作原理
以自动驾驶研究 PlanWAM 为例:首先,把过去多帧的观测压缩成简短摘要。然后,仅凭这个摘要预测表示未来情况的表征(模型内部的压缩表示),并参考这一预测生成并选择行驶路径。训练时,一个能看到真实未来场景的辅助分支会先生成“对规划有用的未来表征”。接着,通过蒸馏让只看过去的分支模仿这一表征。核心在于,它不是像画图那样精细地描绘未来场景,而是只保留规划所需的信息。
为何受到关注
预见未来再行动,能更好地应对突发情况。社区中甚至出现了机器人领域“GPT-2 时刻”的说法。媒体也有报道称,李飞飞(Li Fei-Fei)团队开发了世界动作模型,并大幅提高了机器人任务成功率。同样值得注意的是,机器人和自动驾驶两个领域都出现了同名的方法。
注意事项
这是一个新出现的术语,尚未形成标准定义或通用的评估方法。报道或社区文章中提到的成果,是研究团队的说法或特定实验条件下的结果,难以直接推广。如果预测的未来出错,基于该预测做出的动作也可能出错。若要用于实际道路或现场,还需要另行进行安全验证。
示例
PlanWAM 先压缩自动驾驶汽车过去几秒内摄像头看到的场景,再以对规划有用的形式预测近期未来,并参考这一预测从多条候选路径中选出一条。研究团队表示,其在开环和闭环评估中都取得了领先的规划性能。开环是用记录的驾驶数据进行评分,闭环则是在模拟器中实际驾驶的测试。