OmniCompass：联合评估全模态视频定位与理解的综合基准

问题

现有视频理解基准只覆盖部分评估维度：要么只看视觉证据，要么只看视听证据；只用文本指定目标；并且偏向QA和定位中的一种。因此很难区分模型是没有找到目标、没有定位到位置，还是没有理解内容。

方法

构建了两个赛道。OmniCompass-VL（820个视频，2,460个实例）是仅凭视觉证据即可解答的任务，OmniCompass-AV（240个自行收集的电影、电视剧、综艺和新闻视频，720个实例）则需要同时结合原始音频。每个视频都标注了时间定位（何时）、空间定位（何处）和QA（什么）。每个实例都配有两个版本：仅用文本指定同一目标的版本，以及用文本+参考图像指定的版本。新定义了CS（Cross-Specification Consistency Score），同时考察两种设置下的正确率和预测一致性。4名专业标注员花费约1,800小时进行人工标注，并经过多轮验证。

结果

• 作者报告，在OmniCompass-VL综合得分上，商用模型中Gemini-3.8-Flash（42.8%）最高，开源模型中Kimi-K3（39.6%）最高。
• 最佳商用模型与最佳开源模型的平均CS差距在VL赛道为3.2%，在AV赛道为32.8%。开源模型在视听理解上尤其落后。
• 在36个模型中，加入参考图像的Text+Image设置使平均分高于单一设置的只有11个。
• 即使QA性能较高，时间定位和空间定位仍然较弱；以不同方式指定同一目标时，预测相互矛盾的情况也很多。
• 进一步分析显示，加入时间戳后，所有任务和赛道的性能都大幅提升。在AV赛道中，加入音频后QA和时间定位性能稳定提升。

局限

AV赛道只有240个视频、720个实例，规模较小。标注由4名标注员和1名负责专家完成。输入为均匀采样的帧，因此结果可能受帧数等输入设置的影响。所提供的正文在构建过程部分中途截断，因此无法确认详细的实验设置和作者说明的局限。

意义

将视频MLLM接入服务时，可以单独衡量“答案看似合理，却指不出片段或位置”这类失败。还能检查预测是否随目标指定方式保持一致，可为视频检索、高光片段提取等实际任务的模型选择提供参考。

关键术语

Temporal/Spatial Grounding

在视频中找出问题所指目标出现的时间区间（Temporal）或画面中位置框（Spatial）的任务。

全模态（Omni-modal）模型

在一个模型中同时处理视频帧、音频和文本的多模态模型。

CS(Cross-Specification Consistency Score)

同时考察仅用文本指定同一目标和附带图像指定时，两次预测是否都正确且相互一致的指标。只要其中任一出错或两者不一致，得分就会降低。

tIoU

表示预测时间区间与真实区间重叠程度的比率（交集/并集）。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Xuyang Liu, Shihao Wang, Xinyu Wei, Minghan Li, Zeqing Wang, Zuhao Yang, Zichen Wen, Lei Zhang · 发布 2026-10-13 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。