论文解读 · 2026年10月13日
DiffusionART：高效、稳定且可扩展的扩散模型强化学习
DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models
将各提示词的奖励汇聚为单一改进方向，并加入根据漂移进行恢复的更新，从而无需调节 EMA 即可让扩散模型强化学习高效且稳定。
问题
用黑盒奖励微调扩散模型的在线强化学习有两类。Flow-GRPO 等逆向过程方法信用分配不准确，效率较低。DiffusionNFT 等正向过程方法效率较高，但若没有针对每个任务调节的 EMA 离策略（Off-policy）训练，训练就不稳定。
方法
作者首先分析指出，NFT 类目标函数中隐含一种“前向-反向一致性力”。同时学习正负分支时，这种力只会被部分抵消。作者还指出，EMA 有助于稳定的原因不在于离策略（Off-policy）Rollout，而在于将模型拉回滞后参考点的复原（restoration）效应。在此基础上，DiffusionART 增加了两项设计。(1) 将每个提示的样本和奖励汇总为共享的奖励改进方向 G(c)，并在反向过程 Rollout 中把所访问状态的速度回归到以该方向为目标，从结构上消除一致性力。(2) 通过施加信赖域（Trust-region）掩码的第二次更新，引入与各状态漂移成正比的复原，以替代 EMA。该方法不需要可微的奖励模型，也支持成对比较奖励模型（DiffusionART-Pairwise）。
结果
- 在 HunyuanVideo-13B 上，将视觉质量（VQ）与运动质量（MQ）奖励按 1:1 加权时，达到 DiffusionNFT 和 Flow-GRPO-Fast 后期平均奖励所需的 GPU 时间分别少 12.02 倍和 11.72 倍。
- 作者报告，在相同设置下，平均训练奖励比 DiffusionNFT 高 28.8%，比 Flow-GRPO-Fast 高 53.0%。
- 在图像到视频生成中，达到 MQ 6 所需的 GPU 时间比 Flow-GRPO-Fast 少 4.8 倍。
- 在 SD3.5-M 上，无需 EMA 或针对任务的调参，即达到与最强基线相当的效率。
- 在分析实验中，不使用 EMA、对 NFT 每次 Rollout 更新两次，虽然避免了崩溃，但训练慢了 15.2 倍。作者以此作为复原是关键稳定因素的依据。
局限
主要数值基于训练过程中的平均奖励，因此在正文摘录范围内难以确认用独立评估指标衡量的质量提升。分析对象是采用线性插值的 rectified flow 模型。关于复原在梯度汇总中占主导这一现象的详细分析，作者留待后续研究。
意义
在根据人类偏好或质量奖励对图像、视频生成模型进行强化学习时，该方法可以减少以往按任务进行的 EMA 调参，并大幅降低 GPU 成本，因此对大规模视频模型的后训练具有实用价值。
关键术语
- Flow-GRPO / DiffusionNFT
- 这是扩散模型强化学习的两类方法。Flow-GRPO 是优化去噪转移概率的反向过程方法；DiffusionNFT 是对生成结果重新加噪、进行奖励加权回归的前向过程方法。
- EMA（指数移动平均）Rollout 策略
- 一种用缓慢跟随训练中模型参数的平均模型来生成样本的技术。本文分析认为，EMA 的稳定作用来自拉回该平均模型的复原力。
- 信用分配（Credit Assignment）
- 将只在最终结果上给出的奖励，按各中间步骤（此处为每个去噪步骤）的贡献进行分配的问题。
- Trust-region
- 一种限制变化幅度的机制，使策略在一次更新中不会偏离原有策略太远。
原文
作者: Zhenglin Wan, Jiayu Chen, Zhengfeiyang Zhang, Pengfei Zhou, Wangbo Zhao, Fangyuan Kong, Pengfei Wan, Kun Gai, 等 · 发布 2026-10-08 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。