← AI 术语表

AI 术语表 · 进阶 · 机器人与具身智能

VLA

VLA(Vision-Language-Action,视觉-语言-动作模型)是一种能同时理解摄像头看到的场景和人用语言下达的指令,并直接生成机器人动作的 AI 模型。看、听懂、动手这几件事由一个模型完成。

关于这个术语
难度
进阶 · 需要了解内部原理的专业术语
加入时间
2026-10-08
通俗解释 这类似于一边读菜谱、一边看着砧板上的食材直接动手的厨师。不过真实的机器人远比人笨拙,在没见过的厨房或陌生工具面前很容易出错。

工作原理

VLA 首先同时接收机器人摄像头画面和“拿起杯子”之类的语言指令。这两者由 VLM(视觉-语言模型)这类能同时理解图像和文字的骨干模型处理,判断当前该做什么。接着,动作输出模块把这种理解转换为具体动作,例如机械臂的关节角度或夹爪开合的指令。机器人稍一移动,场景就会改变,因此它会以很短的间隔反复执行“重新查看新拍到的画面、决定下一个动作”的过程。

VLA 决定动作的循环摄像头画面 → VLM 骨干; 语言指令 → VLM 骨干; VLM 骨干 → 动作输出模块; 动作输出模块 → 机器人动作; 机器人动作 → 摄像头画面(新场景)摄像头画面当前看到的场景语言指令例:拿起杯子VLM 骨干理解场景、指令动作输出模块关节、夹爪指令机器人动作新场景
VLA 决定动作的循环 画面和语言指令经过骨干模型变成机器人动作,移动后再查看变化了的场景,重复同样的过程。

为什么重要

以往的机器人需要人为每项任务逐一编写动作,物体位置稍有变化就容易失败。VLA 借用了在互联网规模的文本和图像上预训练的模型的知识,因此对没见过的物体或新的语言指令也能在一定程度上应对。所以它处于用一个通用“大脑”驱动工厂、物流仓库、家用机器人和人形机器人这一尝试的核心。机器人领域的基础模型这一说法,也常在这一趋势下使用。

注意事项

与文本或图像不同,记录机器人实际动作的数据难以收集且成本高,训练数据不足是最大的难题。为弥补这一点,有时会结合使用 Sim-to-Real(先在仿真中练习再迁移到现实)或合成数据。此外,模型越大,决定动作的速度可能越慢,因此在需要快速反应的任务中,常见的结构是与单独的快速控制器分工。演示视频中表现良好的任务在真实现场能否稳定完成,需要另行评估。

示例

机器人公司把 VLA 作为自家机器人的通用大脑来推广。本站报道过的消息中,有一则报道称 Tomorrow Robotics 发布了机器人基础模型“Habilis Brain 0”。这类模型接收摄像头画面和任务指令,用于生成机械臂或人形机器人抓取、搬运物体的动作。目标是让同一个模型广泛适用于多种任务和多种机器人。

本站出现过的地方

相关术语