VIS-Ground：基于上下文 Grounding 的交互式视频叙事

问题

如果允许观众在视频生成过程中介入，新请求就必须同时与原始资料（故事或知识文档）和已渲染的视频状态保持一致。这种依赖关系在任何单一输入中都没有体现。因此，若将请求直接输入生成器，很容易出现状态矛盾或与原始资料不符的内容。

方法

由三个阶段组成。① Structured Context Abstraction：用 VLM 将视频、故事和原始资料的状态提取为结构化事实，并推导输入之间的依赖关系（因果、先后、状态转移等）。② Generation Constraints Induction：仅激活与候选脚本相关的依赖关系作为约束，并判定为 pass/fail/unknown。③ Constrained Video Generation：反复进行规划、验证、修改和渲染，并对渲染出的视频再次验证和修正。为进行评估，构建了基于 CoQA 的 VIS-Bench（原始资料 250 个、交互指令 1,004 条、实例 2,008 个）。

结果

• 在 Omni-1.1-Flash、Veo 3.1、MiniMax-H3 三个骨干网络上综合得分均最高。相比各骨干网络的最强基线平均提升 10.3 分（绝对）。
• 各骨干网络的提升幅度为 Omni 12.3 分、Veo 15.3 分、MiniMax 3.4 分。
• 作者报告称，在基于故事和基于知识的 Grounding 设置中均有提升。
• 在 9 人参与的形成性研究中，通过注意力测试的 7 人的平均学习提升在有交互时为 47.9 个百分点，无交互时为 32.1 个百分点。

局限

语义指标依赖 Gemini 3.8 Flash 和 Claude Opus 5 自动评估器。视频质量（VQ）基于采样帧，不评估运动和音频。形成性研究样本极小，且属探索性质。作者表示，依赖关系提取和渲染阶段的忠实实现仍是难题。基准是基于 CoQA 段落构建的合成数据。

意义

为交互式视频或教育视频服务展示了一种结构化方法，在遵循用户请求的同时，避免与前文内容或原始事实相矛盾。该方法不绑定特定生成模型。

关键术语

Contextual Grounding

将原始资料、已生成视频、新请求等不同输入转化为生成模型必须遵守的约束的过程。

Candidate-conditioned 约束

并非始终应用所有依赖关系，而是仅在候选脚本引入相关事件时才激活的约束。

Plan–Verify–Revise–Render

规划脚本、用约束验证和修改后进行渲染，并对结果视频再次验证的循环。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Bingxuan Li, Yiwen Song, Xueqing Wu, Yanzhou Pan, Yang Li, Kuang Su, Jingyun Liu, Sebastian Ko, 等 · 发布 2026-10-07 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。