DuoMatching：面向少步视频生成的联合分布与边缘分布同时匹配

问题

DMD（Distribution Matching Distillation）将多步扩散模型压缩为少步生成器，使接近实时的流式视频生成成为可能。现有DMD仅将所有帧的联合分布与视频教师模型对齐（joint DMD）。因此，虽然减少了自回归Rollout过程中质量崩坏的drift，但单帧的细节刻画和提示词遵循（例如遗漏指定的羽毛）仍有不足。

方法

将联合分布匹配（视频教师模型）与边缘分布匹配（图像教师模型，Qwen-Image）加权求和进行训练。损失为 L_joint + ω·L_marginal。视频VAE潜变量在时间轴上经过压缩，无法直接对应图像教师模型的潜空间。为此用轻量模块LatentBridge解决这一问题。LatentBridge以前一切片和帧索引为条件，将视频潜变量转换为图像潜变量，并用L1重建损失进行预训练。此外，Latent Variation Sampling在相邻潜变量间变化较大的位置将序列划分为K个区间，并在每个区间抽取一帧进行监督。这是为了减少监督集中在静止区间造成的冗余。作者还给出理论分析：在适当的ω>0下，联合与边缘的最优解比视频教师模型更接近真实分布。

结果

• 作者报告，在人工评估中，相对于所有对比的基线模型，整体偏好率均超过80%。
• 作者报告，在定性比较中，相比Causal Forcing++，其纹理细节、物体数量与属性的体现（例如一艘独木舟、青绿色杯子）以及构图均有改善，动态运动大体得以保持。
• 作者报告，改进不仅出现在因果（自回归）生成中，也出现在双向生成（基于Wan2.1-T2V-1.3B，以CausVid为基线）中。对比对象为Self Forcing、Reward Forcing、Causal Forcing++和One-Forcing，评估使用VBench和自建的400条高难度提示词。

局限

由于所提供的正文在实验结果中途中断，未能确认VBench的具体数值。实验设置限于81帧、480×832分辨率、1.3B级生成器、单一图像教师模型（Qwen-Image）。作者也将运动动态表述为“大体”得以保持，暗示边缘匹配可能与动态程度存在冲突。单独训练LatentBridge还需要额外的经筛选的视频数据（OpenVid 29,400条）。

意义

提出了一种在实时视频生成中保持速度的同时提升帧画质与提示词忠实度的方法。它可以成为在视频蒸馏中复用强大图像生成模型先验知识的通用框架。

关键术语

DMD(Distribution Matching Distillation)

利用教师与学生的分数（score）差异，使学生的生成分布与教师分布对齐的蒸馏技术。将多步扩散模型压缩为1~数步的生成器。

联合分布 vs 边缘分布

联合分布是视频全部帧的联合分布，边缘分布是单个帧的分布。本文用图像模型单独匹配边缘分布。

LatentBridge

将经过时间压缩的视频VAE潜变量转换为特定帧的图像VAE潜变量的轻量可微模块。避免了解码再编码带来的内存开销。

自回归Rollout drift

按顺序生成视频时误差不断累积，导致后段帧质量逐渐下降的现象。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Jiahao Zhan, Yan Wang, Yongrui Ma, Qunliang Xing, Ruchang Yao, Runtao Liu, Shijie Zhao, Tianfan Xue · 发布 2026-10-02 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。