← 专题深读

专题深读 · 2026-11-17 · 进阶 · 作者 bombong

几步就能画好:扩散模型的步数蒸馏

扩散模型需要反复去噪数十次,因此速度较慢。步数蒸馏是把需要很多步的教师模型迁移到只需1~4步生成的学生模型上的技术。本文以分布匹配(DMD)为中心,梳理其原理、取舍和近期趋势。

目录
要点
  • 步数蒸馏分为两类:一类是沿着教师的“作画路径”学习的轨迹保持方法,另一类是对齐“生成结果分布”的分布匹配方法。前者擅长多样性,后者擅长清晰度。
  • DMD以教师的预测与跟踪学生分布的Fake分数模型的预测之差作为信号来修正学生,而能否准确拟合这个Fake模型决定了成败。
  • 有分析指出,在文本到图像生成中,真正推动蒸馏的是来自CFG的项,而不是分布匹配本身,由此出现了分别设计DMD各个部分的趋势。
  • 步数越少多样性越容易崩溃,这是最大的争议点。目前已出现按噪声区间划分目标、恢复内部激活值等解决方案。
  • 近期的方向是把强化学习奖励与蒸馏一起优化,或者追求1~2步、1.x步这样更极端的步数。

为什么需要:反复擦除式作画的成本

扩散模型(Diffusion model)从纯噪声出发,一点点去除噪声来完成图像。每去噪一次,都要完整运行一次庞大的神经网络。这种神经网络调用次数称为NFE(Number of Function Evaluations),要得到高质量图像通常需要数十次。1.x-Distill(paper)以原始模型的“28×2 NFE”采样作为比较基准,意思是走28步,每一步调用两次神经网络。

之所以每步调用两次,是因为CFG(Classifier-Free Guidance)。CFG同时计算加入提示词和不加提示词的预测,并放大两者的差异,使模型更忠实地遵循提示词。它有助于提升质量,但计算量会翻倍。一张图像就要数十次调用,如果是视频,还要按帧数付出更大的成本。对于实时服务或端侧生成来说,这样的负担太重。

因此,把用很多步画得好的模型(教师模型)的能力迁移到只用几步作画的模型(学生模型)上的步数蒸馏(知识蒸馏),成为扩散模型后训练的关键环节。目标很简单:在保持质量和多样性的同时,把NFE降到个位数,最好降到1~2。

核心思路:学路径,还是学终点

步数蒸馏大体分为两类。用从山顶下到村庄的路来打个比方。第一类是轨迹保持方法:记住教师走下来的路,教学生一次跳过这条路上的捷径。一致性(consistency)蒸馏属于这一类。第二类是分布匹配方法:不关心路径,只教学生让自己到达村庄后拍下的照片与教师到达后拍下的照片在“整体上形成相似的分布”。代表方法是DMD(Distribution Matching Distillation)。

两种方法各有取舍。CrossDistill(paper)这样概括这种张力:基于轨迹的方法能均匀覆盖数据的多个模式(不同的结果类型),从而保持多样性;分布匹配能让结果更清晰,但可能降低多样性。Trajectory-Regularized Distribution Distillation(TRD)等近期研究也指出,轨迹对齐在步数极少时性能会下降。SwiftVideo(paper)同样认为,只用其中一种方法,在步数少时性能会崩溃或缺陷增多。

因此,实际研究大多以分布匹配为核心,再用其他机制弥补其弱点(多样性崩溃、训练不稳定)。下面先看分布匹配是如何工作的。

两类步数蒸馏

轨迹保持学习教师走过的路径

  • 均匀覆盖多个模式,保持多样性
  • 步数极少时性能下降
  • 一致性蒸馏系列

分布匹配(DMD)对齐最终结果的分布

  • 结果更清晰
  • 多样性可能降低
  • Fake分数模型须跟上学生

공통 两者都是把多步教师迁移到少步学生的方法

轨迹保持擅长多样性,分布匹配擅长清晰度。实际研究中常将两者结合。

如何工作:DMD的三个模型

DMD由三个模型协同运作。按照eDMD(paper)的说明分步来看:第一,学生生成器从噪声出发,用几步生成图像。第二,有意给这张图像重新混入噪声。第三,把加噪后的图像同时交给两个模型。一个是固定不变的教师模型,它告诉我们“如果是真实数据,应该朝这个方向去噪”。另一个是Fake分数模型,它不断用学生生成的图像进行训练,告诉我们“如果是学生的分布,则是这个方向”。第四,两者预测的差异就是把学生拉向教师的训练信号。

这种设计的优点是,不需要事先大量生成教师实际运行数十步的结果。学生直接在自己生成的结果上获得信号。但这也有代价:Fake分数模型必须准确跟踪不断变化的学生分布。VA-TDM(paper)正是把这一点指为弱点:在少步采样的中间步骤中,很难估计学生分布的分数,而常用的估计器所刻画的分布,可能与实际用于更新学生的分布不同。

此外还叠加了CFG的影响。Decoupled DMD(paper)对DMD的训练目标进行分解后报告称,在文本到图像生成这类需要CFG的任务中,真正推动蒸馏的引擎不是分布匹配,而是“CFG增强(CFG Augmentation)”项。分布匹配项则起到稳定训练、减少缺陷的正则化(regularizer)作用。该研究还指出,这种正则化作用并非分布匹配所独有,可以替换为更简单的非参数约束或基于GAN的目标,但各有不同的优缺点。

DMD的一次训练循环随机噪声 → 学生生成器; 学生生成器 → 生成图像; 生成图像 → 重新混入噪声; 重新混入噪声 → 教师模型; 重新混入噪声 → Fake分数模型; 教师模型 → 两者预测的差异; Fake分数模型 → 两者预测的差异; 两者预测的差异 → 学生生成器(更新)随机噪声学生生成器少步生成生成图像重新混入噪声教师模型固定真实数据方向Fake分数模型跟踪学生分布两者预测的差异学生训练信号更新
DMD的一次训练循环 给学生生成的图像混入噪声,交给教师模型和Fake分数模型,用两者预测的差异修正学生。Fake模型持续用学生的输出进行训练。

发展脉络:改造DMD的多个方向

这些研究都以DMD为起点,分别修补不同的弱点。混合方向的较早例子是视频领域的SwiftVideo(paper)。它通过连续时间一致性蒸馏保持轨迹,同时提出“双视角对齐”,即同时施加合成数据与真实数据之间的分布对齐,以及不同推理步骤之间的轨迹对齐,并报告在OpenVid-1M基准上优于现有方法。CrossDistill(paper)则沿噪声轴拆分这种结合。基于“噪声多的早期步骤决定整体构图(模式),噪声少的后期步骤打磨细节”这一观察,它在早期区间分配轨迹保持目标,在后期区间分配分布匹配目标。

第二个方向是与强化学习结合。DMDR(paper)改变了把蒸馏和强化学习(对齐人类偏好的阶段)分开、依次进行的惯例,将两者联合优化。其观点是:强化学习使蒸馏能够反映偏好,而不是对整个数据分布一视同仁地压缩;DMD则作为正则化,防止强化学习过程中的奖励破解(只提高奖励分数而实际质量下降的现象)。DMDR报告称,它在少步生成方法中达到了最高水平的质量,甚至超过了使用多步的教师模型。RTDMD(paper)表明,对齐“按奖励倾斜的教师分布”的目标可以自然分解为分布匹配项和奖励最大化项,并报告在SD3、SD3.5、FLUX.2上仅用4步就在偏好、美学和构图指标上达到最高水平。

第三个方向是极端步数。1.x-Distill(paper)认为DMD在降到2步及以下时会出现多样性崩溃和保真度下降,于是修正了教师的CFG在模式坍塌中所起的作用。接着采用两阶段策略:先用保持多样性的分布匹配学习大结构,再用对抗蒸馏打磨细节。它还把块级缓存纳入训练,在SD3-Medium上实现了1.67、在SD3.5-Large上实现了1.74的有效NFE,并称比原始的28×2 NFE采样最多快33倍。这开辟了非整数的“1.x步”领域。

第四个方向是理论统一。VA-TDM(paper)提出了Velocity Adversarial Distillation:由一个训练好的评判模型(critic)比较学生和教师的速度场(velocity field,即去噪的方向),并把两者的不一致转化为训练信号。它声称该框架统一了分数蒸馏、基于Fisher的匹配和矩匹配,并报告在文本到图像和文本到视频任务中,4步条件下均达到最佳性能。

步数减少了多少

28×2 NFE原始采样(以1.x-Distill为准)
1.67 NFE1.x-Distill, SD3-Medium
最多33倍1.x-Distill加速
4步RTDMD推理步数
正文中各研究报告的数值。模型和条件各不相同,无法直接比较。

近期走向

2026年11月发表的研究更细致地诊断DMD“究竟哪里出了问题”。eDMD(paper)质疑了多步蒸馏中在中间状态或所有步骤上训练Fake模型的惯例。用户拿到的只是最终输出,但训练信号与中间分布纠缠在一起,即使最终输出已经与教师一致,信号也可能不为零。因此,它只用学生的最终输出训练一个Fake模型,并在所有步骤的校正中共用这个模型,还从理论上证明,这样做时只有当最终输出分布与教师一致,分布匹配项才会消失。

ReDiverse研究(paper)从模型内部寻找多样性崩溃的原因。蒸馏后的学生虽然保持了与教师相近的激活值总方差,却把方差集中在少得多的方向上。这种方向坍塌集中出现在第一个去噪步骤的特定中间块中。也就是说,问题不是失去了生成能力,而是方差分配错了。在此基础上,它提出了用轻量适配器把学生激活值对齐到教师的训练式方法(ReDiverse-FT),以及在推理时把激活值推向教师主成分方向的免训练方法(ReDiverse-TF),并报告在图像和视频上都能在保持质量的同时恢复多样性。

NitroFusion2(paper)改变了对抗蒸馏的判别依据。它注意到,在同时处理图像和文本的Transformer(MMDiT)中,文本token的中间状态已经“读过”图像,于是将其用作判别器的输入。结果,它把通常需要4~8步的少步蒸馏以相近的质量降到了1~2步,并称即使在1步时,文字渲染和细节也很清晰。总的来说,近期趋势是逐个重新设计DMD的部件,例如“用什么来训练Fake模型”“多样性在哪里丢失”“从哪里获得判别信号”。

步数蒸馏研究地图 将输入资料中的研究按时期分组。由于缺乏研究之间直接继承关系的依据,未用箭头连接。

局限与争议,以及实践判断标准

最大的争议点是多样性崩溃。ReDiverse研究(paper)把即使用不同随机种子采样、结果也几乎相同的现象定义为“严重”问题,1.x-Distill(paper)则认为这一问题在2步及以下时尤为突出。如果服务需要用同一提示词生成多个候选再挑选,就不能只看基准测试的质量分数来引入蒸馏后的模型,而应亲自确认更换种子后结果是否真的不同。

第二是训练信号的可靠性。VA-TDM(paper)和eDMD(paper)都反复指出,如果Fake分数模型跟不上学生,训练就会走偏方向。RTDMD(paper)也加入了一致性正则化,使Fake分数模型能在有限的更新次数内跟上不断变化的学生分布。如果训练不稳定或出现缺陷,应先怀疑Fake模型,再怀疑学生。

第三是与强化学习结合时的奖励破解。DMDR(paper)认为DMD可以作为防止奖励破解的正则化,但这一设计的前提是奖励优化存在偏离教师分布的风险。需要同时由人工直接检查:是只有偏好分数在上升,还是实际结果确实变好了。

判断标准总结如下:如果实时性或成本很重要、且单张图像的质量是关键,以分布匹配为主、4步左右是稳妥的起点。如果多样性很重要,就同时考虑融合轨迹保持的混合方法或多样性校正技术。1~2步在研究中正逐渐达到实用水平,但应先单独确认文字渲染、细节等对自身服务重要的项目后再使用。常见的错误是只看到比教师更快,而不区分依赖CFG带来的效果和分布匹配带来的效果。正如Decoupled DMD(paper)的分析所示,这两项的作用不同。

引入蒸馏模型前的检查

质量·多样性

  • 更换种子后结果是否真的不同
  • 是否单独检查了文字、细节等关键项
  • 减少步数后缺陷是否增加

训练

  • Fake分数模型是否能很好地跟上学生
  • 是否区分了CFG效果和分布匹配效果

强化学习结合

  • 是否存在只提高奖励分数的奖励破解
  • 是否由人工直接检查结果
把正文中的争议点转化为实践检查项。

延伸学习

如果想先掌握原理,建议先读Decoupled DMD(paper)。它把DMD的训练目标拆分为引擎(CFG增强)和盾牌(分布匹配)来展示,有助于理解后续研究为何要修改这些部分。接着,eDMD(paper)的引言简要梳理了教师、Fake、学生三个模型之间的关系,适合用来复习其运作结构。

如果关注多样性与质量的取舍,可以把CrossDistill(paper)和ReDiverse研究(paper)放在一起读。前者从噪声区间这一外部维度、后者从模型内部激活值出发处理同一个问题。如果对极端步数感兴趣,可以对比1.x-Distill(paper)和NitroFusion2(paper)。

如果想一并完成偏好对齐,可依次阅读DMDR(paper)和RTDMD(paper)。如果要应用于视频生成,SwiftVideo(paper)和VA-TDM(paper)展示了把图像技术扩展到视频的案例。

相关术语

扩散模型 Distillation GAN 强化学习 奖励黑客 后训练 推理(Inference) Transformer

参考资料

奠基论文

最新研究

由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。