视频生成模型：时空扩散与一致性

为什么视频生成比图像生成更难

图像生成只需一张图看起来合理即可。视频则要求几十到几百帧彼此不出现错位。人物面部、光照、背景结构若每帧都略有变化，画面就会闪烁，或者物体像融化一样变形。帧与帧之间相互吻合的性质称为时间一致性（temporal consistency），这是视频生成面临的最大课题。

相关研究也指出了同样的问题。VideoFrom3D（paper）指出，现有视频扩散模型在复杂场景中难以同时建模画质、运动和时间一致性。CAT-LVDM（paper）报告称，文本或多模态嵌入中的微小扰动会在去噪步骤中不断放大，可能导致视频语义本身发生漂移（semantic drift）。

计算量也是问题。DVG（paper）说明，每个去噪步骤需要处理的 token 很多，反复计算代价高昂。AB-Attention（paper）指出，所有帧的所有位置相互参考的 3D full attention 具有平方级成本，占据了推理时间的大部分。为了提高一致性让模型同时查看所有帧，成本就会上升；为了降低成本让模型少看一些，一致性又会被破坏。这一领域的设计大多是在这种拉锯中进行的。

核心思想：把时间和空间作为一个整体来细化

扩散模型从纯噪声出发，逐步去除噪声，最终完成图像。视频扩散模型去噪的对象不是一张图，而是“整组帧”。它对在宽、高之外再加一条时间轴的整体一次性进行细化。这就是时空扩散的基本思路。

可以用翻页书来比喻。如果每页单独画好再翻动，线条会有细微错位，画面就会抖动。反之，如果把所有页叠在一起，从模糊的草稿开始同时逐步加深，那么每细化一页时都会同时参照前后页，衔接就会很自然。时空扩散就是用数学方式实现这种“叠在一起同时画”。

这种设计的取舍也很明确。由于同时查看，一致性会提升，但一次能处理的长度和分辨率受限于显存和计算量。因此不断出现对这一基本形式的变体，例如拼接短片段的自回归模型方式、先确定第一个画面的锚点方式，以及减少计算的效率优化技术。

如何运作

第一步是压缩。直接处理像素数据量过大，因此先用编码器把视频压缩到较小的潜在（latent）空间，再在其中运行扩散。CAT-LVDM（paper）所研究的潜在视频扩散模型（LVDM）就是这种结构。第二步，准备形状为“帧 × 高 × 宽”的噪声张量。第三步，把该张量切成小的时空块（patch）作为 token，输入 Transformer。这种用 Transformer 构建去噪器的结构称为扩散 Transformer（DiT）。

第四步，多次重复去噪。在每一步中，注意力同时参考同一帧内的其他位置（空间）和其他帧的相同位置（时间），逐步去除噪声。在所有 token 都关注所有 token 的 3D full attention 中，token 数翻倍，成本就变为四倍。第五步，加入条件。文本提示、首帧图像、相机 Trajectory、深度或轮廓线等信号被输入去噪器，决定“让什么以何种方式运动”。最后，解码器把潜在视频还原为像素帧。

条件的类型也会影响一致性。CtrlVDiff（paper）分析指出，如果只提供深度或轮廓线这类几何信息，布局可以确定，但外观、材质和光照约束不足，因此重新打光等编辑较难实现，随时间产生的漂移也较常见。生成模型的随机性同样是障碍。PlenopticDreamer（paper）指出，在模型需要自行补全的区域，由于生成的随机性，很难保持时空一致性，在从多个视角重新渲染视频时尤其如此。

保持一致性的四类设计

第一类是锚点。AVG（paper）认为，许多看起来像运动失败的错误，实际上源于第一帧构图错误。因此它进行了分工：由 LLM 将提示重写为首个画面的描述，由文本到图像模型生成构图正确的锚帧，视频模型则只专注于让该画面动起来。该方法在 T2V CompBench 上取得了最佳性能，并报告称即使将采样步骤减少 70%，性能也没有下降。VideoFrom3D（paper）也采用了类似的分工：用图像扩散模型生成少量在视角间保持一致的锚视图，再由视频扩散模型接收相机运动和结构信息，填充其间的帧。两个模块都无需难以获得的“3D 场景-真实图像”配对数据即可运行。

第二类是丰富条件。CtrlVDiff（paper）不仅接收深度、法线、分割和轮廓线，还接收图形学中的内在属性（反照率、粗糙度、金属度）。它通过名为 HMCS 的策略对这些特征进行路由与融合，无论给定何种组合，都能在保持时间一致性的同时重新渲染视频。为此，研究者构建了 MMVideo 数据集，混合真实与合成视频，并对齐了各模态的标注和描述文本。

第三类是让训练更稳健。CAT-LVDM（paper）认为，图像扩散中常用的高斯噪声和均匀噪声注入在视频中会损害时间保真度，因此在训练时向条件中加入符合批次语义或频率特性的结构化噪声（BCNI、SACN）。BCNI 在 WebVid-2M、MSR-VTT 和 MSVD 上将 FVD（生成视频与真实视频的分布差异，越低越好）降低了 31.9%，SACN 在 UCF-101 上提升了 12.3%。在训练数据少 5 倍的情况下，其表现仍超过了更大的基线模型。

第四类是记忆与效率。PlenopticDreamer（paper）以自回归方式训练一个输入多段视频、输出一段视频的模型，并利用相机信息从之前的生成结果中挑选重要视频，重新作为条件输入，以保持跨视角记忆。为防止长视频因误差累积而崩坏，还加入了 self-conditioning。DVG（paper）把在早期步骤降低分辨率的加速方法扩展到时间和空间两个维度，无需重新训练即可根据视频内容选择加速策略。在 HunyuanVideo 系列上最高提速 7 倍，与 Distillation 结合使用时提速 18 倍。

近期发展方向

第一个趋势是减少长视频的漂移。分层扩散研究（paper）诊断认为，在自回归方式中，远处的帧依赖的不是真实答案，而是之前生成的结果，因此误差会累积。该研究把相机控制视频生成转化为“将前一帧变换到新视角后填补空白（warping-and-inpainting）”的问题。它先只参考紧邻的过去生成帧，再用第二个去噪器参考稀疏采样的较远过去帧进行再次细化。每一帧都能参考完整的时间上下文，而成本仍保持在可承受的水平。在 RealEstate10k 和 DL3DV 上，其结果优于现有方法。

第二个趋势是精细地削减注意力成本。AB-Attention（paper）认为，现有按块跳过注意力的方法在提高稀疏度时质量会崩溃。因此它估计块的重要性，按该比例进行采样并恢复权重，不是丢弃，而是“估计”完整的注意力。该方法无需额外训练，在 Wan2.1 和 HunyuanVideo 上跳过 89~92% 的注意力，同时 PSNR 比最强基线方法最高提升 4.4dB，整体生成速度最高提升 2.23 倍。

第三个趋势是把一致性移到模型之外。BoxWorld（paper）认为，如果让生成器在内部学习交互规则，就很难指定物体级规则并检验其结果。因此由编码智能体根据用户规则构建“Box World Engine”，管理物体的位置框、属性和状态，视频生成器只负责以自回归方式把这一状态流程绘制到画面上。为使生成器在接续自身输出生成时不出现抖动，还利用自身生成的历史进行了 Rollout Distillation。综合这三个趋势来看，保持一致性的责任正从单一的大型模型，逐渐分散到记忆结构、高效计算和外部状态引擎中。

局限、争议与实践判断标准

最大的争议是“好看”与“准确”之间的差距。KIVI（paper）用 1,080 个要求解释、步骤或演示的简短问题构建基准，评估了 7 款最新视频生成模型。所有模型都未达到人类水平，在视觉属性、步骤性动作以及清晰传达信息方面尤其薄弱。画面流畅衔接并不意味着内容正确。用于教育或说明手册视频时，需要另行验证真实性。

每种设计也都有代价。锚点分解易于把握构图，但由于增加了 LLM、图像模型和视频模型等环节，流水线变得复杂；而且锚点一旦出错，后续环节会原样继承该错误。自回归延长解除了长度限制，但需要额外的机制来防止漂移。稀疏注意力或分辨率调节等加速技术报告的是相对于完整计算的质量损失，因此需要亲自确认在自己的内容上能否保持同样水平。

实践判断标准如下。如果生成结果的首个画面构图或物体布局经常出错，先考虑锚帧方式。如果目标是重新打光或替换材质等改变外观的编辑，可参考 CtrlVDiff（paper）的分析：仅靠深度或轮廓线条件是不够的。如果是相机长时间移动的长视频，适合采用长期记忆参考或分层去噪类方法。如果是像游戏那样要求规则和状态准确的交互，适合采用把状态管理交给外部引擎的 BoxWorld 式分离。常见错误也有几种：只看短片段指标就推断长视频质量；加上加速技术后跳过质量验证；忽视条件输入中的微小噪声可能放大为语义漂移这一点（CAT-LVDM，paper）。

延伸学习

若想先建立整体框架，建议从 AVG（paper）读起。它把视频生成分为“场景构建”和“时间合成”的思路，在阅读其他研究时也可作为参照。接着通过 VideoFrom3D（paper）了解图像模型与视频模型的分工，通过 CtrlVDiff（paper）了解条件信号类型对一致性和可编辑性的影响。

如果关注训练方面，CAT-LVDM（paper）展示了仅靠噪声注入就能让稳健性产生多大差异。关于长视频和多视角一致性，从 PlenopticDreamer（paper）开始，接着读分层扩散研究（paper），可以看到“如何记住之前的生成结果”这一问题的演变。

如果关心服务成本，可以将 DVG（paper）和 AB-Attention（paper）对照阅读。前者处理分辨率与时间轴上的计算分配，后者处理注意力本身的近似。最后，评估视角可从 KIVI（paper）入手，视频生成与世界模型、智能体结合的方向则适合从 BoxWorld（paper）入手。