论文解读 · 2026年10月7日
In-Distribution Forcing：面向测试时长视频生成的分布内 KV 运用
In-Distribution Forcing for Long Video Generation at Test Time
一种使 KV 缓存的构建方式和读取方式都与训练时配置一致的免训练方法，将 5 秒模型扩展到分钟级视频生成，同时减少了颜色和运动漂移。
问题
自回归视频扩散模型能很好地生成短视频，但超出训练长度后会出现漂移：颜色和纹理发生变化，运动减少。现有方法只调节读取哪些 KV 条目（KV conditioning）。作者指出，这些方法假设缓存的 KV 处于分布内。一旦超出训练长度，生成 KV 时所参照的上下文（provenance）本身就成为训练中从未见过的配置，使 KV 变为分布外（OOD）。作者将其定义为 KV-provenance 问题。
方法
在 Level 1（KV 缓存）中使用 self-caching。超出训练长度时，窗口前面的 ℓ 个块不参照之前的 KV，只看自身进行缓存。其余部分在此基础上以自回归方式重新缓存，使所有 KV 都在训练时见过的配置中生成。在 Level 2（KV conditioning）中，第一个块 κ0 始终放在槽位 0。理由是因果 3D-VAE 将第一帧编码为单帧，因此在分布上不可替代。最近的 L−1 个条目通过重新旋转 RoPE 的精确滚动窗口来保持。无需额外训练。应用于基于 Wan2.1-T2V-1.3B 的 Self-Forcing 和 LongLive。
结果
- 在基于 Self-Forcing 的 120 秒生成中，Color Drift 得分为 72.37，高于最强基线 Deep Forcing（59.65）。Motion Drift 为 89.06，高于 ∞-RoPE（85.16）。
- 在基于 Self-Forcing 的 120 秒生成中，Dynamic Degree 为 65.65，高于 MemRoPE（62.90）和原始 Self-Forcing（30.04）。作者报告称，在所有设置中 Dynamic Degree 均为最高。
- 在基于 LongLive 的 240 秒生成中，Color Drift 为 71.76，高于 MemRoPE（64.23）。Aesthetic Quality 为 60.44，高于原始 LongLive（58.94）。
- 作者报告称，在 2AFC 形式的用户研究中也确认了漂移缓解效果。
局限
Motion Smoothness 在部分设置中略低于基线模型。例如在 LongLive 240 秒中为 98.50，低于原始 LongLive（98.74）。在基于 LongLive 的设置中，Motion Drift 为 96.09，略低于 MemRoPE（96.88）。实验仅限于基于 Wan2.1 1.3B 架构的两个模型、128 条 MovieGen 提示词和 480×832 分辨率。部分漂移指标由作者自行定义。
意义
将长视频生成中的漂移重新定义为不仅是“读取什么”的问题，也是“KV 是在什么上下文中生成的”问题。无需重新训练即可直接应用于现有短时长模型，对世界模型、流式视频等需要长时间生成的应用较为实用。
关键术语
- KV 缓存
- Transformer 保存先前生成内容的键、值向量，并在下次生成时通过注意力进行参照的内存。
- 漂移（drifting）
- 自回归生成越长，误差越累积，导致颜色和纹理变化、运动减少的质量下降现象。
- KV-provenance 问题
- 生成 KV 条目时所参照的上下文是训练中从未见过的配置，从而使 KV 本身变为分布外的问题。
- Self-caching
- 缓存块时不参照之前的 KV、只看自身的方式。由于没有来源上下文，即使窗口中的其他条目被移出，也不会偏离分布。
原文
作者: Jeongwoo Shin, Youngyoon Choi, Sangwoo Jo, Hyunmog Kim, Sungjoon Choi, Joonseok Lee, Jaewoong Choi, Jaemoo Choi · 发布 2026-10-02 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。