论文解读 · 2026年10月15日
VideoJev：面向视频理解与交互的 System One 模型
VideoJev: System One Model for Video Understanding and Interaction
将多模态 LLM 的生成式答案解码替换为候选打分头，并在多个查询间复用视频计算。由此在提升时间区间定位准确率的同时，将视频 QA 处理速度提高了 100 倍以上。
问题
视频多模态 LLM 即使面对时间区间定位（temporal grounding）或选择题 QA 这类输出很短的结构化决策，也会以 token 为单位生成时间戳或答案，因此速度较慢。智能体会对同一视频反复提问，每次产生的额外开销也很大。
方法
以 Qwen3.5-4B 和 Qwen3.6-35B-A3B（MoE）作为骨干。去除最后的 MLP 和输出头，对新 token（<|option_end|>、<|decide|>）的隐藏表示进行投影，再用余弦相似度为候选打分。在时间区间定位中，将以帧对为单位的区间作为时间戳文本候选输入，用 BCE 和 soft IoU 训练，并用 Kadane 算法解码出一个连续区间。选择题 QA 为每个选项打分，用 softmax 和 cross-entropy 训练，并打乱选项顺序以减少位置偏差。支持只计算一次视频 prefix 并复用的 Cached 推理，以及在一次 forward 中处理多个查询的 Joint 推理。训练分为两个阶段：第 1 阶段只对齐头部，第 2 阶段连同骨干一起训练。
结果
- 在 3 个时间区间定位基准的平均 mIoU 上，VideoJev-4B 为 65.3，比骨干 Qwen3.5-4B（58.6）高 6.7 分，比 TimeLens2-4B（62.0）高 3.3 分
- VideoJev-35B-A3B 的平均 mIoU 为 67.7，比骨干 Qwen3.6-35B-A3B（56.9）高 10.8 分。每个查询的延迟为 0.336 秒，约为骨干（1.054 秒）的三分之一
- 在 4 个视频 QA 基准的平均成绩上，VideoJev-4B 为 74.3，与 Qwen3.5-4B Thinking 模式（74.9）相近。每个问题的延迟为 1.123 秒，比 Thinking 模式（144.9 秒）快 100 倍以上
- 在相同数据和设置下，比自回归微调平均 mIoU 高 1.3 分，QA 平均高 1.9 分
局限
QA 仅涉及选择题，输入只有视频帧（不含字幕和音频）。QA 训练数据是内部构建的约 24 万道题，难以复现。延迟只测量了模型 forward 时间，未包括预处理和数据传输。在部分 QA 基准上略低于 Thinking 模式。
意义
当视频智能体反复确认进度或查找证据位置时，不经生成、直接用分数做决策可以大幅降低延迟。这是构建实时视频工作流的一种实用接口。
关键术语
- Temporal grounding
- 找出自然语言描述的事件发生在视频哪个时间区间的任务。
- mIoU(mean IoU)
- 预测区间与真实区间重叠程度（交集/并集）的平均值。越高表示定位越准确。
- Cached / Joint 推理
- 前者只计算一次视频前段并在之后的每个查询中复用（Cached），后者将多个查询拼接后在一次 forward 中全部打分（Joint）。
原文
作者: Yuhan Zhu, Xiangyu Zeng, Qingyi Si, Chenxu Yang, Yifei Li, Luozheng Qin, Junhao Zhou, Dingyu Yao, 等 · 发布 2026-10-13 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。