AI 术语表 · 进阶 · 机器人与具身智能 · 生成式媒体
世界模型
世界模型让 AI 像拥有脑中模拟器一样掌握世界的运作方式,从而提前预测“这样做之后会发生什么”。
通俗解释 这类似于扔球之前先在脑中想象球的飞行路线。不过,在训练数据之外的情况下,AI 的脑中模拟器可能会描绘出离谱的未来。
工作原理
世界模型首先接收通过视频或传感器获得的当前观测,将其概括为只保留重要信息的压缩状态(表征)。再输入“向前走”“抬起手臂”等候选动作,它就会预测执行该动作后世界将如何变化,即下一个状态。如果预测的未来结果不好,可以换一个动作再试。核心在于,在实际行动之前先在脑中推演多种情况,然后选出最佳动作。
为什么重要
在现实中通过反复试错直接训练机器人或自动驾驶汽车,耗时、成本高且危险。有了世界模型,就能用想象中的练习代替大量尝试,使强化学习等训练效率大幅提高。它也被视为弥补只处理文字的 LLM 不太了解物理世界因果关系这一局限的方法。因此,机器人、自动驾驶以及游戏和视频生成领域都在研究它。
注意事项
“世界模型”在不同场合所指的范围略有不同。既有以像素为单位生成逼真下一帧画面的生成式方法,也有像 JEPA 那样不预测像素、只在抽象表征层面预测未来的方法。能生成逼真的视频并不意味着准确理解了物理规律,而且微小的预测误差在多个步骤中不断累积,可能导致远期预测严重偏离。
示例
自动驾驶公司用世界模型生成“前车突然停下”“行人突然冲出”等罕见情况的驾驶视频,用来测试和训练系统。在游戏和视频生成方面,它被用于展示交互式世界:用户用键盘改变方向时,实时生成相应的下一帧画面。在机器人领域,它被用于提前预测推动或抓取物体的结果,从而制定动作规划。