SpecOPD
SpecOPD 是一种在推测解码中更好地训练“草稿模型”的训练方法。它把由大模型为草稿打分的 On-policy Distillation 过程分成多个分支同时运行,从而加快训练。这是 2026 年 11 月在 arXiv 上公开的、处于研究阶段的技术。
是什么
LLM 按顺序一个 token 一个 token 地生成文本,所以速度慢。推测解码是一种加速方法:由小而快的草稿模型(Drafter)先写出几个 token,再由大的目标模型(Target 模型)一次性核对,只接受正确的部分。一次被接受的草稿越多(Acceptance length 越长),速度就越快。SpecOPD 是用 On-policy Distillation 更好地训练这一草稿模型的方法,由论文《SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding》提出。
如何运作
On-policy Distillation 是指由目标模型为草稿模型亲自写出的草稿打分,草稿模型再根据打分进行学习的方式。以往写草稿和接受核对的过程必须按顺序反复进行,因此收集训练数据很慢。论文的核心想法是:为一段草稿打分时,只需要“参考文本的前文”和“草稿模型在该位置写出的内容”就足够了。因此,它在参考文本的多个位置同时采样相互独立的分支(Branch),并把这些分支合并成一棵树,共享公共前文的计算。此外,草稿模型使用专为直接提升 Acceptance length 而设计的训练目标进行训练。
为何受关注
推测解码在不改变回答质量的前提下提升速度,因此会直接影响 LLM 服务的成本和响应时间。论文称,与顺序式 On-policy Distillation 相比,训练信号的收集速度最高快 16.09 倍,平均 Acceptance length 最多提升 41.45%,与逐 token 生成的方式相比,生成速度最高快 3.56 倍。据介绍,实验覆盖对话、编程、数学、智能体任务四个领域,以及多种规模的模型,这些模型不仅使用普通注意力,也混合使用稀疏注意力和线性注意力。
论文给出的关键数值
注意事项
截至今天,这是一篇刚公开的论文,尚无证据表明它已被用于产品功能。上述数值是研究者在特定设置下得到的“最高”值,在实际服务中可能因模型、任务和硬件而不同。社区中也有人将其介绍为 Qwen 方面的研究,但这并未经过官方发布确认。另外需要区分:SpecOPD 不是推测解码本身,而是训练其草稿模型的方法。
示例
假设一个运营 LLM 服务的团队想在不改变回答质量的前提下提高响应速度,于是采用了推测解码。接入草稿模型后,草稿却总在中途被拒绝,速度没有达到预期。论文的主张是:此时用 SpecOPD 这类方法,让草稿模型按照目标模型的打分进行追加训练,就能在花费更少训练时间的同时,增加一次被接受的 token 数。论文在对话、编程、数学和智能体任务上对此进行了实验。