AI 术语表 · 入门 · 多模态

多模态

多模态是指 AI 不仅能处理文字，还能同时理解或生成图像、声音、视频等多种类型信息的特性。

关于这个术语

通俗解释 这类似于一个人用眼睛看、用耳朵听、读文字，综合把握情况。如果说只读文字的 AI 像只打电话的人，那么多模态 AI 更像在视频通话的人。

工作原理

多模态模型会把图像、声音等信息转换成可以与文字一起处理的形式。例如，把照片切成小块并用数字表示，再与文字的 Token 一起输入模型。这样就能回答“这张照片里有什么？”之类的问题。

如何把照片和文字输入同一个模型 把图像切成小块并转换成数字后，就可以与文字的 Token 并排输入模型。声音和视频也以类似方式转换后输入。

现实中的信息并不只由文字构成。读取照片中的文档、解读图表、语音对话、视频摘要等，很多任务都需要多模态能力。在机器人、自动驾驶等需要观察周围环境再做判断的领域，它也是核心技术。

多模态模型也可能误读图像或声音而产生幻觉。此外，不同模型支持的输入、输出类型也不同。有些模型能读取图像但不能生成图像，因此最好确认“多模态”一词具体指什么。

本站介绍过的 Google“EmbeddingGemma 2”是一款把文本、图像、音频、视频放入同一空间的嵌入模型。使用这类模型，就能实现跨不同信息类型的检索，比如用文字搜索相关的照片或视频。