让 MLLM 潜变量真正发挥作用：面向电影级视频生成的要素感知预测学习（FAPL）

问题

电影级视频生成既需要仅凭剧本和少量参考就能推断动作与镜头走向的能力，也需要在互不干扰的情况下分别修改人物、场景、动作、镜头的能力。将 MLLM 连接到视频 DiT 的现有模型，仅靠文本编码器或 VAE 参考路径也能降低生成损失。因此会出现绕过 MLLM 潜变量的问题，而仅靠视频级训练无法学到分要素控制。

方法

Stage I 冻结 MLLM 和连接器，关闭文本编码器和 VAE 参考路径。仅以 MLLM 潜变量为条件训练 DiT，并混合仅文本输入与文本+完整视频输入。Stage II 使用仅一个要素不同的视频对。通过结构化提示词找到各要素对应的潜变量区段，将这些区段互换后作为条件，以另一段视频作为目标来训练 DiT。Stage III 冻结训练好的 DiT，优化 MLLM 和连接器，使两种观测模式共享同一目标视频。

结果

• 作者报告了现有 MLLM-DiT 模型中 MLLM 潜变量容易被绕过的案例。仅以 MLLM 为条件时，Omni-Video 2（1.3B DiT）生成了噪声，14B 版本和 UniVideo 则出现了伪影。
• 作者报告称，在 sparse-to-video、要素感知编辑、多镜头生成三项任务上一致优于基线（所提供正文范围内没有定量数值）。
• 作者表示，通过分阶段消融实验验证了各阶段在 MLLM 特征利用、时间控制和要素调整方面的贡献。

局限

所提供正文在方法部分截断，无法确认定量结果、基线数值和数据规模。要素编辑对数据通过生成和筛选构建，作者自己也并不假设要素区段的表示是完全解耦的。要素也仅限于人物、场景、动作、镜头四种。

意义

对“只要把 MLLM 接到生成模型上，理解能力就会迁移到生成”这一假设给出了反例。论文提出了强制使用连接路径的训练方式，对分镜、预演（previz）这类基于剧本制作视频并按要素修改的制作工具有启示。

关键术语

DiT(Diffusion Transformer)

以 Transformer 为骨干的扩散生成模型，是近期视频生成模型的主流架构。

MLLM 潜变量绕过（Feature Bypass）

生成模型仅靠其他条件路径（文本编码器、VAE 参考）降低训练损失，而几乎不使用 MLLM 所提供信息的现象。

Factor-Span Replacement

只把提示词中某个要素（如人物）对应的潜变量区段换成另一个样本的区段，并用相应的目标视频进行训练的技术。

Flow Matching

一种生成模型训练方式，学习预测从噪声到数据路径上的速度场。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Songlin Yang, Zhe Wang, Xiaotong Zhao, Xi Wang, Ran Zhang, Shuai Li, Taiyi Wu, Songlian Li, 等 · 发布 2026-10-22 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。