VLA：能看、能理解、能行动的机器人模型

为什么需要：机器人无法像网络那样收集海量数据

为机器人手臂抓取、搬运物体而学习的策略（根据观察选择下一步动作的规则），一旦超出训练数据范围就很容易失效。OpenVLA（paper）论文总结说，现有策略能承受物体位置或光照的变化，但在周围放了其他物品、遇到没见过的物体或没听过的指令时表现较弱。最大的机器人操作数据集也只有 10 万~100 万个示例，与用数十亿 token 和图像训练的语言、视觉模型相比，规模差距很大。

但也很难把大语言模型（LLM）或视觉-语言模型（VLM，同时理解图像和文字的模型）直接接到机器人上。这些模型以语义、标签和文本来思考，而机器人需要的是“指尖移动到哪个坐标、移动多少”这样的底层指令。据 RT-2（paper）论文介绍，此前把 LLM、VLM 用于机器人的方式大多只负责上层规划：模型把指令拆成“抓取”“放下”这类基本动作，实际运动则由另外训练的底层控制器负责。

问题在于，这个底层控制器在训练中完全得不到网络规模模型的丰富知识。因此 RT-2 提出的问题是：“如果把大规模预训练 VLM 直接整合到机器人底层控制中，泛化能力是否会提升，是否会出现语义推理能力？”由这个问题产生的一类模型就是 VLA（Vision-Language-Action，视觉-语言-动作模型）。

核心思路：把动作当作另一种语言来教

RT-2 的构想很简单：把机器人动作看作另一种语言，将其转换成文本 token（模型读写的文字片段），以与自然语言 token 相同的方式放进训练数据。这样，原本用来回答问题的 VLM 就会根据“摄像头画面和指令”用“动作 token”作答。论文强调，这种方式不新增参数，而是直接复用已经花费大量计算成本训练好的 VLM。

打个比方，这就像教一位精通多国语言的翻译再学一门“机器人关节语”。翻译已经知道世间物品的名称、关系和常识，只要学会新语言，就能用新语言表达这些知识。不过，如果只让他长时间学新语言，他可能会忘掉原有知识。因此 RT-2 把机器人轨迹（Trajectory，按时间顺序记录的观察与动作序列）数据和网络上的视觉问答等任务放在一起联合微调（co-fine-tune）。

这样一来，模型也能听懂机器人数据中没有的指令。RT-2 能处理把物体放到特定数字或图标上、拿起最小的物体或离另一物体最近的物体等指令。再加上 CoT（Chain-of-Thought，让模型在给出答案前逐步写出思考过程的方法），它还表现出多步推理能力，例如挑一块石头当临时锤子，或为疲惫的人选能量饮料。

如何运作：看、想、动，再看

VLA 执行一次动作的过程可以分为以下几步。第一，输入摄像头图像和“把杯子放到盘子旁边”这样的指令。第二，视觉编码器（把图像转换为数值表示的模块）把图像切成小块（patch），将每块转换为表示。OpenVLA 论文指出，近期公开的 VLM 已趋同于一种简单的“patch-as-token”方式，即把这些 patch 表示当作 token，映射到语言模型的输入空间。

第三，语言模型骨干（模型的核心主体）同时读取图像 token 和指令 token。第四，输出动作。这里分成两条路线。RT-2 和 OpenVLA 先以文本 token 的形式生成动作，再反 token 化（把 token 还原成原始值）为机器人指令。π0（paper）则在预训练 VLM 上加了流匹配（flow matching）结构。流匹配是一种生成方法，从随机噪声出发，经过多次逐步修正生成连续值，与扩散模型属于相近的一类。

第五，机器人执行该动作后场景发生变化，新的摄像头图像再次输入模型。RT-2 论文称之为闭环控制（closed-loop control，回看结果再决定下一步动作的循环）。也就是说，VLA 并不是制定一次计划就结束，而是每时每刻不断重复“看 → 行动 → 再看”的循环。这个循环能转得多快，正是后文效率研究的出发点。

发展脉络：从 RT-2 到 OpenVLA、π0

RT-2（paper，2023）确立了 VLA 这一名称和基本方法。它提出了一种“简单而通用的方法”：把动作表示为文本 token，并用网络数据和机器人数据联合微调；通过 6000 次评估试验，展示了对新物体的泛化能力和源自网络知识的推理能力。其名称的由来是：使用与 RT-1 实验方式相近的数据，但把模型扩展为大型 VLM 骨干。

OpenVLA（paper，2024）针对两个问题：现有 VLA 大多不公开，无法了解其结构、训练过程和数据配比；针对新机器人和新环境高效微调的方法也缺乏研究。OpenVLA 是一个 7B 参数模型，在 Llama 2 语言模型上接入融合了 DINOv2 和 SigLIP 特征的视觉编码器，用 Open X-Embodiment 数据集中 97 万条真实机器人演示进行训练。在 29 项任务上，它的绝对成功率比 55B 参数的 RT-2-X 高 16.5%，参数量却只有其七分之一。它也比从零开始训练的模仿学习方法 Diffusion Policy 高出 20.4%。它首次表明可以借助 LoRA（只轻量训练部分参数的方法）和量化在消费级 GPU 上微调，并能在不损失成功率的情况下高效部署推理服务，这一点在实践上也很重要。

π0（paper，2024）改变了动作输出方式。它不再把动作切分为 token，而是在预训练 VLM 上加入流匹配结构，在继承互联网规模语义知识的同时生成连续动作。它用单臂机器人、双臂机器人、移动操作机器人等多种精细机器人平台的大规模数据训练，并评估了预训练后直接执行任务的能力、遵循人类或上层 VLM 策略语言指令的能力，以及通过微调学习新技能的能力。其特点是覆盖了叠衣服、收拾桌子、组装箱子等需要灵巧操作的任务。

最新方向：更快，记得更久

第一个方向是速度。机器人需要实时运动，而流匹配 VLA 在每个去噪步骤都要反复运行负责动作的模块（action expert），成本很高。MambaAct（paper）在 π0 的后续模型 π0.5 中保留读取视觉和语言的前端不变，把基于 Transformer 的动作模块换成基于 Mamba 的小型模块。Mamba 属于状态空间模型（SSM）一类，处理长序列比 Transformer 更轻量。结果，动作模块缩小到十分之一，去噪延迟在 LIBERO 仿真中降低 64.8%，在真实机器人部署中降低 58.8%，LIBERO 平均成功率提高 1.08 个百分点。

第二个方向是记忆。在机器人操作中，经常需要记住已经从画面中消失的信息，例如打乱杯子后球在哪个杯子下面，或已经搬了几个物品。LTM（paper）把相邻两次观察之间的变化存储为压缩的潜在表示（Latent Transition），并利用 KV 缓存在每一步增量计算。构建在 π0.5 之上的 LTM-π 在 RoboMME 上取得 58.54% 的成功率，在 LIBERO-Mem 上取得 80.5%；在真实机器人计数（counting）任务中，成功率从 11.25% 提高到 82.50%。即使把记忆限制在 200 个 token，成功率仍保持在 84.00%（不压缩时为 87.50%），为在有限上下文内处理记忆提供了一条路径。

这两项研究都没有从零重新构建 VLA，而是在已预训练的 VLA 上替换或添加模块。RT-2 提出的“复用花大成本训练好的 VLM”这一思路，如今正以“复用已训练好的 VLA”的形式延续下去。

局限与争议：听懂不等于做到

最根本的局限由 RT-2 论文自己指出：模型的物理技能仍局限在机器人数据中见过的技能分布之内。网络知识只能让模型以新方式运用已掌握的技能，并不能让机器人做出从未做过的动作。机器人数据远少于网络数据这一起点问题依然存在。

指令遵循也没有想象中那么好。一项诊断研究（paper）指出，现有研究集中在“做什么”（What-level）的指令上，几乎没有涉及“怎么做”（How-level）的指令。诊断发现，How-level 指令对当前 VLA 没有帮助，反而降低了任务成功率。研究者认为原因在于每个训练 episode 只配一条指令的惯例，于是改用分段的丰富指令进行训练，动作开始对指令做出反应，但成功率并没有持续提高。在只有遵守指令中给出的条件才能成功的 SIMPLER-IN 评估中，这种响应能力没有扩展到困难的或训练分布之外的 How-level 指令。这意味着，不能因为语言骨干善于遵循指令，就期待 VLA 也同样如此。

解读数据时也需要谨慎。本文中的许多成功率来自 LIBERO 这类仿真基准或固定的实验任务，并不能直接反映在真实家庭或工厂环境中的表现。机器人与人在同一空间中进行物理运动，错误动作造成的损害比屏幕上的错误答案更大。在真实场景中部署时，前提是限制任务范围、由人监督，并配备可以让机器人停下的装置。

延伸学习

如果是初次接触，建议先读 RT-2（paper）的引言和图 1。“把动作看作另一种语言”这一思路，以及它与以往模块化方式的区别，在这里讲得最清楚。接着读 OpenVLA（paper），可以具体看到一个实际模型由哪些部件（Llama 2、DINOv2、SigLIP）组装而成，以及如何借助 LoRA 和量化在小型 GPU 上运行。它的代码和检查点都已公开，也适合亲手跑一跑。

要理解将动作生成为连续值而非 token 的路线，可以看 π0（paper）。之后再读 MambaAct（paper），就能大致了解流匹配 VLA 的速度瓶颈在哪里。记忆问题可参考 LTM（paper），指令遵循目前的局限则由 How-level 诊断研究（paper）简短而清晰地展示出来。