← 2026年11月6日 简报

Qwen论文SpecOPD:并行对草稿块进行On-policy蒸馏以加速推测解码(社区消息)

已核实(事实)

被介绍为Qwen团队论文的SpecOPD在r/LocalLLaMA上被分享。若要通过On-policy蒸馏进一步训练推测解码中的草稿模型(Drafter),通常需要依次经过草稿生成和验证的rollout。该论文利用无需这种顺序依赖也能监督草稿块这一点,实现了训练并行化。

待核实(说法)

声称即使接受长度(acceptance length)已停滞的草稿模型,性能也能进一步提升。

意义(解读)

这是降低推理加速用草稿模型训练成本的方法,可能直接影响开放模型的推理服务效率。

可信度 中 · 待补官方来源

来源

更多关于 Alibaba