论文解读 · 2026年10月23日
Looking Ahead：在自回归视频生成中建模未来变化
Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation
增加一个仅在训练时预测远期未来片段的辅助目标（FCP），在不增加推理成本的情况下提高了自回归视频生成的物理合理性。
问题
自回归视频扩散模型以前一个片段为条件生成下一个片段。在Teacher Forcing训练中，相邻片段非常相似，因此模型不必学习场景如何变化，只需沿用紧邻的前一画面这一捷径也能降低损失。
方法
FCP（Future Chunk Prediction）是一种辅助损失：只看当前片段的中间表征，在不看中间片段的情况下，用Flow Matching预测Δ个片段之后的未来片段。为每个偏移量单独设置由3个轻量DiT块组成的预测器并并行连接，阻断了预测器之间泄露信息的捷径。预测器不加入文本条件，使其只依赖生成器的表征。辅助损失反向传播到生成器，推理时移除全部预测器。无需外部预训练编码器。
结果
- 在Physics-IQ Verified图像到视频生成中，Wan2.2-5B + FCP的IQ为33.8，在参与比较的自回归模型中最高。MAGI-1-4.5B为31.1，Helios-Base为26.9。
- Wan2.1-1.3B + FCP的IQ为30.9，高于同为1.3B规模的Causal Forcing（12.1）和Causal Forcing++（21.8）。
- Wan2.2-5B + FCP（33.8）甚至高于双向的Wan2.2-5B（24.9）和Wan2.2-14B（32.2）。但这并非训练条件相同的比较。
- 作者报告称，在相同的数据曝光量和训练预算下，物理合理性优于标准Teacher Forcing，且总训练计算量更少。可视化中还观察到表征空间更趋结构化。
局限
评测主要集中在物理合理性基准上，未能全面评估场景变化建模。实现限于图像到视频设置和Wan系列骨干网络。训练数据为约5秒长的视频。表征结构化是基于可视化的观察，定量验证有限。所提供正文中受控比较表的部分细节被截断。
意义
表明不改变推理流程、只增加一个训练目标，就能提升视频模型的物理理解。无需外部编码器、仅靠视频数据即可扩展，是训练世界模型的一个实用方向。
关键术语
- Teacher Forcing
- 训练时不以模型自身生成的结果、而以真实历史为条件来预测下一部分的方式。
- 自回归视频扩散
- 将视频划分为由多帧组成的片段，以前一个片段为条件，用扩散模型依次生成下一个片段的方式。
- Flow Matching
- 学习连接噪声与数据之间路径的速度场，从而将噪声转换为数据的生成模型训练方法。
原文
作者: Ruopeng Gao, Yukun Huang, Jiarui Hu, Shuai Wang, Wenbo Hu, Ying Shan, Limin Wang · 发布 2026-10-21 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。