多模态 LLM：同时读懂图像与语音的模型结构

为什么需要它：只读文字的模型的局限

LLM（大语言模型）原本只接收文本输入。然而现实中的业务资料很多并不是文字，例如照片、图纸、扫描文档和会议录音。早期的做法是先用其他模型把这些资料转成文字：图像转成图片说明（描述文字），语音通过语音识别（ASR、STT）转写，再把这些文字输入 LLM。

这种方式简单，但信息会在中途丢失。如果图片说明只写了“桌上有一个杯子”，那么面对询问杯子颜色或确切位置的问题，LLM 就无从回答。把语音转成文字后，语气和语调也会消失。这是因为转换步骤在不知道问题是什么的情况下就提前做了摘要。

多模态（Multimodal）LLM 正是为了解决这个问题，让 LLM 在尽可能保留图像或语音原始信息的情况下直接读取它们。同时处理图像和文字的模型也被单独称为 VLM（视觉-语言模型）。

核心思路：把一切统一成 token

基于 Transformer 的 LLM 以一串 token（Token）作为输入。多模态 LLM 的构想很简单：把图像和语音也转换成形似 token 的向量序列，接在文本 token 旁边，LLM 就能按原有方式一次性读取全部内容。token 通信研究（paper）也指出，随着 Transformer 的广泛应用，token 正在成为新的基本信息处理单位，在多模态 LLM 中，视觉信息和文本信息都以 token 来表示和处理。

打个比方，LLM 是一位只懂韩语的能干分析师，图像和语音则是外语资料。与其从头教分析师外语，不如配上一位读取资料的“专业判读员（编码器）”和一位把内容翻译成分析师语言的“翻译（适配器）”。分析师把翻译过来的内容与自己的问题放在一起进行判断。

这种设计的取舍很明确。由于可以复用已经训练好的 LLM 和图像编码器，从头训练庞大模型的需要就减少了。代价是，把两个模型原本以不同方式表示世界的结果“对齐”的步骤决定了质量；正如后文所示，如果这种对齐不完善，就会出现“信息进来了却用不上”的问题。

如何运作：编码器 → 适配器 → LLM

一般的处理流程分为四步。第一，图像被切成小块（patch）后经过图像编码器，语音则以短时片段为单位经过语音编码器。编码器把每个小块转换成数字向量，即嵌入（Embedding）。第二，适配器（也称投影器）把这些向量映射到与 LLM 的 token 嵌入相同的空间。第三，把这样得到的视觉、语音 token 与文本 token 连成一串。第四，LLM 通过注意力（Attention）整体查看全部内容，逐个 token 生成回答。

训练通常也分阶段进行。先只训练适配器以对齐“翻译”，之后再用遵循指令的对话数据进行更广泛的微调。token 通信研究（paper）的结构就是一个好例子。该研究用适配器把传输来的数据转换成视觉 token，送入视觉分词器的中间层，并采用两阶段视觉-语言对齐训练，使这些 token 适配 MLLM：先用蒸馏损失对适配器进行预热，再用对齐损失使其贴合文本语义。

这种结构也给训练系统带来负担。异构并行研究（paper）指出，随着编码器与 LLM 的规模差异拉大、上下文窗口变长，如果让编码器也沿用为 LLM 设定的同一种并行布局，吞吐量就会受限。尤其在长上下文场景下，由于合并后的多模态序列，LLM 一侧需要上下文并行，而编码器的输入长度是有限的，因此不匹配最为严重。该研究提出了一种抽象，让编码器与 LLM 在同一个训练图中采用不同的布局。

设计选择：作为一个整体训练，还是把专家串联起来

上述结构是把编码器和 LLM 组合成一个模型，进行端到端（end-to-end）对齐训练的方式。免训练编排研究（paper）认为，这种方式为了融合异构模态，数据和算力成本高且难以扩展，因此提出了另一条路：无需额外训练，把现有的各模态专业模型串联起来。

该框架由三部分组成：LLM 控制器理解用户意图，以显式的控制 token 输出应按什么顺序调用哪些专业模型；以文本为中心的跨模态记忆把多模态证据压缩成结构化记录，避免每轮对话都重复调用专业模型；统一交互层处理实时双向流式传输以及考虑插话的对话。研究人员报告称，该方法在多个多模态基准上表现良好，同时编排开销低，且易于单独替换组件。控制 token 是显式的，因此便于审计（核查）路由，这也是一个优点。

相反，一体化方式让 LLM 直接看到编码器的细粒度信息，因此因压缩成文本而丢失的信息较少。从实际判断来看：如果需要快速接入多种模态并频繁更换组件，编排更有利；如果图像中的细微线索决定答案，统一模型更有利。

模态的范围也在扩大。ChemMLLM（paper）设计了横跨文本、用字符表示分子的 SMILES 字符串和图像的五类任务，用一个模型处理分子理解与生成（包括图像生成），报告称其性能在通用 MLLM 中更好，并接近专业模型。Cognitive Supersensing（paper）则改变了推理方式本身。它没有沿用在文本空间中延长 CoT（Chain-of-Thought）的现有做法，而是加上一个预测视觉潜在嵌入序列的头（LVIP），以“脑中的图像”构建推理链，并通过强化学习优化以这些视觉潜在表示为依据的文本推理路径。

最新动向：“看到”与“用上”之间的差距

近期研究的一大趋势，是精确检验“多模态模型是否真正用好了图像”的评估。BedBench（paper）用 13 个询问 3D 物体属性的任务测试模型，在按颜色计数任务中，人类的准确率为 93.3%，而最好的模型只有 7.2%。更值得关注的是内部分析结果。对 Qwen3.5-27B 的考察发现，准确的按颜色计数信息可以在语言模型输入阶段被恢复出来（探针 65.0%），但模型的实际回答几乎答不对（3.0%）。这意味着即便编码器和适配器传递了信息，LLM 也无法在回答中使用它。在去掉图像的对照实验中，部分“成功”在没有视觉依据的情况下也出现了。

CulturalBind（paper）从另一个角度揭示了同样的缺口。用涵盖 6 个领域、1 千个文化概念的 3.2 千张图像进行评估后发现，模型常常能通过文字了解某个文化概念，却无法通过图像认出它。文本知识与视觉知识是分离的。知识编辑可以修正个别识别错误，但这种修正迁移到其他模态的程度很低，而且连续编辑会使性能迅速下降。

这两项研究恰好针对前面提到的“统一成 token”这一设计的弱点。放在同一串序列里，并不意味着两种模态的知识就融为一体。这正是 BedBench 研究人员建议不仅评估准确率，还要同时评估答案是否确实正确、使用是否一致以及对图像的依赖程度的原因。

局限与争议：实际应用中需要考虑的问题

第一，没有视觉依据的描述，即幻觉（Hallucination）。医疗 VLM 研究（paper）认为，模型可能生成在图像中没有依据或与图像矛盾的临床描述，因此提出了 CLEAR：把生成的回答按短语切分，再对相应区域做局部改动来估计风险。在 MIMIC-CXR 上，它把幻觉检测的 AUPRC 从 85.10% 提高到 90.23%。不过这只是检测性能，并非实际诊疗表现；在医疗这类高风险领域，仍需要人工做最终审核。

第二，图像输入会成为新的攻击途径。SUA（paper）表明，通过机器遗忘“遗忘”的敏感信息实际上可能只是被隐藏了起来。在输入图像上叠加一个学习得到的噪声模式，被删除的内容就会重新出现，而且这种噪声对从未见过的图像同样有效。还有归属问题。多模态指纹研究（paper）指出，由于许多 MLLM 共享语言骨干，现有的来源确认方法容易混淆，于是提出了以跨模态注意力分布作为指纹的 AttnPrint，以及仅凭输出检验是否存在未经授权蒸馏的 DistillTrace（在 19 种结构、154 个模型实例上进行了实验）。

常见错误有三种：因为基准准确率高，就认为模型是看了图像才回答的；假定通过文字了解的知识，通过图像也能认出来；认为图像输入比文本输入风险更低。在引入之前，最好亲自测试：去掉图像后是否仍能得出答案，是否每次都能一致地给出正确答案，以及能否指出依据区域。

延伸学习

想先把握结构，可以通过 token 通信研究（paper）了解“视觉信息也是 token”的视角和适配器对齐训练，再通过异构并行研究（paper）了解编码器与 LLM 的规模差异对训练系统的影响。如果对统一训练的替代方案感兴趣，免训练编排研究（paper）提供了比较基准。

想了解模型实际上做不到什么，建议把 BedBench（paper）和 CulturalBind（paper）放在一起读。两者区分“有信息”和“用上信息”的实验设计都值得借鉴。想拓展应用范围，可以看 ChemMLLM（paper）和 Cognitive Supersensing（paper）。

如果计划作为服务运营，建议依次阅读医疗 VLM 幻觉研究（paper）、SUA（paper）和多模态指纹研究（paper），梳理幻觉检测、图像输入攻击和模型来源确认方面的问题。