VLM

VLM（Vision-Language Model，视觉-语言模型）是一种能看图像或视频，并用文字描述其内容或回答相关问题的 AI 模型。可以看作给语言模型装上了“眼睛”的多模态模型。

关于这个术语

通俗解释 这类似于给一位擅长表达的人（语言模型）配一位能读图的翻译（视觉编码器）组成的团队。翻译把图像转换成语言模型能听懂的话，语言模型再据此写出回答。实际上两者是一起训练的，配合得远比人类团队紧密。

工作原理

首先把图像切成小块，由视觉编码器把每一块转换成数字向量（嵌入）。连接层（投影器）把这些向量调整为与语言模型所用 token 相同的格式。语言模型把这样得到的图像 token 和用户的提问文本一起读入，逐个 token 生成回答。视频通常按顺序把多个画面（帧）当作图像处理。

VLM 的基本结构 图像沿上面一行转换成 token 输入语言模型，与提问文本一起被读取，生成回答。

人处理的信息中，相当一部分是照片、扫描文档、屏幕画面和视频。VLM 被用于读取收据、表格、图表，描述照片，以及查看屏幕并找到按钮点击的计算机使用智能体等。在机器人领域，它正发展为在 VLM 基础上加入动作输出的 VLA。它的重要性在于，让原本只处理文字的 AI 也能处理用眼睛看到的世界。

在读取图像中的小字、数物体数量、判断位置关系时容易出错。也会出现把图像中没有的东西说成有的幻觉。还可能被提示词注入欺骗，即在图像中用隐藏文字偷偷植入指令。用于重要判断时，由人确认结果会更安全。

把用手机拍的照片上传到聊天机器人并询问“帮我整理这张表”，就是典型的 VLM 应用。本站的消息中，有一则报道称 Twelve Labs 推出了把第一人称视频转换为机器人训练数据的 VLM“Pegasus 1.6”，这是把 VLM 理解视频内容的能力用于机器人训练的案例。