专题深读 · 2026-11-15 · 进阶 · 作者 bombong
Draft 模型训练:用蒸馏提高推测解码的接受长度
推测解码的速度取决于大型 Target 模型能连续接受小型 Draft 模型生成的多少个 token(接受长度)。近期研究正在让 Draft 模型从模仿 Target 输出的方式,转向让自身提案接受评分的 On-policy 蒸馏,以及直接针对接受长度的损失函数。
目录
- 推测解码的速度取决于 Draft 模型的质量,尤其是接受长度,即每次验证时被连续接受的 token 数。
- 用 Target 生成的固定数据做 SFT,接受长度很快就会停滞。原因是训练时看到的状态与实际推理时 Draft 所处的状态不同。
- On-policy 蒸馏让 Target 对 Draft 自己生成的提案打分,从而把训练集中在实际发生拒绝的位置。
- 损失函数也从 CE、KL 这类分布匹配,演进到 TV,再到块级期望接受长度(EAL、WTV、REAL),逐步接近“真正的目标”。
- 在一次性输出整个块的并行草稿模型中,块内 token 彼此看不到对方。因此出现了 MDraft、DStill、SpecOPD 等专门的训练方法。
为什么 Draft 模型训练会成为单独的问题
推测解码(Speculative decoding)是一种推理加速技术:小而快的 Draft 模型先提出接下来的多个 token,大而准确的 Target 模型再通过一次计算并行验证这些提案。最终输出由 Target 决定,因此在保持质量的同时只减少调用 Target 的次数。能加速多少,几乎由接受长度(acceptance length)决定,即每次验证时有多少个 Draft token 被连续接受。Test-Time Speculation(paper)和接受长度感知训练研究(paper)都以这一点为出发点。Target 不做改动,因此性能最终取决于如何训练 Draft 模型。
目前常用的方法有两种。一种是用 Target 生成的轨迹(输出文本记录)对 Draft 做 SFT(监督微调),另一种是让 Draft 模仿 Target 完整输出概率分布的 soft-label 蒸馏(知识蒸馏)。Draft-OPD(paper)观察到,用 SFT 训练 EAGLE-3 或 DFlash 这类草稿模型时,测试数据上的接受长度很快就不再提升。训练时 Draft 看到的是 Target 生成的固定文本,而实际推理时,它是在自己提出的块上接受评估。该研究认为,离线训练与推理之间的这种不一致是停滞的原因。
目标函数也存在偏差。接受长度感知训练研究(paper)指出,现有训练主要优化交叉熵(CE)或 KL 散度这类代理指标,并没有直接针对接受长度。RCSD(paper)认为,soft-label 蒸馏会迫使 Draft 连 Target 分布熵较高的区间(Target 自己也不确定会出现哪个 token 的地方)也去模仿,从而降低接受率。结构上也存在不一致。据 GTO(paper),训练只优化最可能的一条路径,而实际解码会把多个分支构造成树并一起验证。总结来说问题有三个:学什么(数据)、优化什么(目标)、以什么形式使用(结构),都与实际使用不匹配。
核心思路:从抄写标准答案到为自己的答案打分
用听写练习来比喻更容易理解。传统 SFT 就像学生(Draft)一直抄写老师(Target)写的标准答案。手是练熟了,但学不会考试时自己写错第一个字之后该如何接着写。On-policy 蒸馏(OPD)则是学生自己写答案,老师标出答案哪里错了。教师模型是 Target,学生模型是 Draft。Draft-OPD(paper)将其描述为“Target 在 Draft 生成的状态上进行监督”。
第二个思路是改变评分标准。在推测解码中,只有从头开始连续猜对才算分。第一个 token 被拒绝,后面猜对再多也没用。因此,与其以“每个 token 的分布与 Target 有多相似”为准,不如直接把“连续被接受多少个”作为损失函数。接受长度感知训练研究(paper)的 EAL、WTV 损失,以及 GTO(paper)的 Draft Tree Reward 都源于这一想法。
这种方式之所以可行是有原因的。正如 Test-Time Speculation(paper)指出的,验证阶段本来就要对每个 Draft token 计算 Target。也就是说,训练所需的教师信号在推理过程中已经产生。无需另外运行昂贵的 Target,几乎可以免费得到评分表,这是该设计的核心优势。
工作原理:提案、验证、损失的循环
On-policy 方式的一轮大致如下。首先,给定上下文后,Draft 直接采样接下来几个 token 组成的块(rollout)。其次,Target 一次读取该块并计算每个位置的概率分布。这既是验证,也是教师的答案。第三,求出在哪个位置首次发生拒绝,以及每个位置上 Draft 与 Target 分布的重叠程度。第四,用这些信息计算损失并更新 Draft,再用更新后的 Draft 重新提案。
理解损失的关键是 TV(Total Variation,两个分布的偏离程度)距离。据 TVP(paper),在不改变输出分布的标准推测采样中,Draft token 被接受的概率为 1 − TV,即 1 减去 Target 与 Draft 分布之间的 TV 距离。但块中第 k 个 token 只有在前 k−1 个全部被接受时才有意义。因此,块级损失的形式是把各位置的重叠乘以“前面全部存活的概率”再求和。验证方式不同,公式也不同。接受长度感知训练研究(paper)针对只比较最高概率 token 的 greedy 验证提出了 EAL(期望接受长度)损失,针对带温度的采样解码提出了 WTV(window total variation)损失。还可以在这两种损失之后,接上以模拟接受长度为奖励的 GRPO 强化学习阶段。
实际实现时,rollout 是障碍。Draft-OPD(paper)指出,Draft 单独无法稳定地生成完整的长文本;而如果借助 Target 生成,收集到的文本又会服从 Target 分布,On-policy 信号随之消失。因此该研究在续写时借助 Target 保持稳定,但会回到验证中暴露出的错误位置,从该处起重新回放(replay)Draft 的提案。这样,无论提案被接受还是被拒绝,都能获得 Target 反馈,从而把训练集中在实际阻碍接受的 Draft 端错误上。
发展脉络:依次对齐数据、目标与结构
GTO(paper)率先处理了训练与解码之间的结构不一致:解码用多分支的树进行验证,而训练只优化一条路径。该研究定义了等于 Target 下 Draft 树期望接受长度的“Draft Tree Reward”,并通过比较当前 Draft 与固定参考 Draft 的树、采用基于组的 PPO 式更新来稳定训练。据报告,在对话(MT-Bench)、代码(HumanEval)、数学(GSM8K)上,其接受长度比 EAGLE-3 高 7.4%,速度高 7.7%。
2026 年,On-policy 数据方面持续取得进展。Draft-OPD(paper)采用前述的错误位置回放方式,在思考(thinking)模型上实现了无输出损失的 5 倍以上加速,并称分别比 EAGLE-3 和 DFlash 提升 23% 和 13%。Test-Time Speculation(paper)把时间点移到了推理过程中。即使是 DFlash、EAGLE-3、PARD 这样的最新草稿模型,当输出超过数千 token 时,接受长度也会降到 1 左右,即几乎没有加速。原因是它们是用短文本离线训练的。该研究采用在线方式,利用验证阶段已有的 Target 信号在生成过程中持续蒸馏 Draft,使接受长度最多提高 72%,平均提高 41%。
目标函数方面,接受长度感知训练研究(paper)用 EAL、WTV 损失取得了稳定优于基于 KL 训练的接受长度。尤其是采样解码适合 WTV,greedy 验证适合 EAL。RCSD(paper)走了另一条路。它把推测推理中自然产生的“被接受序列”和“被拒绝序列”组成隐式偏好对,并对已与 Target 一致的 token 进行掩码,不予惩罚。据报告,这样按系统目标即接受长度来训练 Draft,平均接受长度比 HASS 增加 35%,在实际任务中提速 1.35 倍。正如其名称所示,它还面向适配领域的持续学习。
块级并行草稿模型带来的新问题
近期的草稿模型往往不再逐个输出 token,而是通过一次前向传播同时预测整个块。典型例子是 DFlash 系列这样用块扩散方式一次填满整块的草稿模型。提案成本降低了,但出现了新问题。DStill(paper)称之为“token 分解误差”。块内每个 token 都从同一个掩码块中预测,因此看不到同一步骤中其他位置选出的 token。结果是生成前后不连贯的草稿,接受长度下降。
MDraft(paper)分析了这种不一致对 On-policy 蒸馏的影响。Draft 在预测时看不到块前部实际采样出的 token,而 Target 则以这些 token 为条件给出答案分布。因此即使是同一个 Draft 预测,答案也会随着前面采样了哪些 token 而不同。如果分别对它们进行蒸馏,那些在某些前缀后自然、在另一些前缀后别扭的 token 就会被压制,接受率随之下降。MDraft 在同一上下文中采样多个块,汇集 Target 针对多个前缀的完整词表分布,合并成一个训练目标。它保持结构和推理流程不变,只改变训练,就把接受长度提升到超出预训练水平。
DStill(paper)采取了另一种方法。多轮迭代精炼能提高一致性,但速度也相应变慢。因此它把草稿模型自身的多步精炼轨迹蒸馏成一次预测。通过从部分掩码输入逐步过渡到完全掩码输入的课程学习,接受长度比一次性生成的 DFlash 最多提高 28%,速度最多提高 25%。相对自回归解码最高达 6.45 倍。SpecOPD(paper)针对的是 On-policy 数据的收集成本。现有流水线按顺序反复进行提案和验证来收集监督信号。但据该研究观察,监督一个块只需要该块的参考前缀和 Draft 采样的记录。因此它并行采样多个相互独立的分支(branch),将其组合成提案树并共享 Target 的前缀计算。针对全注意力、稀疏注意力、线性注意力结构,分别设置了保持各分支记录的机制,并用直接针对接受长度的 E2E-TV 代理损失进行训练。在 8B、27B、125B Target,DFlash、DSpark、DFlash V2 草稿模型,以及对话、编程、数学、智能体四个领域中,平均接受长度最多提高 41.45%。
当前走向:从代理目标到“真正的”接受长度
近期研究的方向是让损失函数与实际期望接受长度完全一致。TVP(paper)首先重新审视了基础。结果显示,在条件一致且调优得当的情况下,单纯的 TV 损失就能与多种现有 Draft 训练目标相当或更好;从头训练时,以固定比例混合 TV 与 KL 也是如此。接着它指出了剩下的两个问题:一是在 Draft 没有给予足够概率的 token 上,TV 的梯度会消失;二是接受长度损失中的“前面位置概率乘积”使训练信号几乎到达不了靠后的位置。TVP 用一个幂参数构建了一组在“广覆盖”目标与“面向接受”目标之间切换的损失,并把该值从 0 逐步提高到 1,使接受长度比 CE 提升 9.8%,比公开的 DFlash2 训练配方提升 6.2~12.9%。
REAL(paper)指出,即便是块级目标也还不是精确的 EAL。部分损失对后续接受的平均,不是基于“实际被接受的 token 所选的验证分支”,而是基于“服从 Target 分布的续写”。由此产生的协方差差异甚至可能使梯度方向反转。REAL 用路径权重进行无偏估计,并用 Rao-Blackwell 化这一统计方法降低方差。在 Qwen3.6-35B-A3B Target 和 Domino 草稿模型上,跨 9 个任务组、5 个评估种子,其接受长度高于 WTV、VSD、DBLast、LK。改动的只有损失函数。
两条路线有一个共同点:像 MDraft(paper)和 REAL(paper)那样,不改动草稿模型结构和推理流程,只改变训练。它们可以直接嵌入已在服务中的推测解码栈,因此在实践中,“通过后训练把已部署的草稿模型再提升一级”正成为现实的应用路径。
Draft 训练损失的三种类型
分布匹配CE·KL
- 模仿整个 Target 分布
- 连高熵区间也照着模仿
- 与接受长度只是间接关联
单位置重叠TV
- 接受概率 = 1 − TV
- 覆盖不足的 token 上梯度消失
块接受长度EAL·WTV·REAL
- 直接优化连续接受
- 前面位置的连乘使后面位置的信号变弱
- 近似时梯度可能失真
공통 Target 模型保持不变,只改变 Draft 模型的训练损失
局限与争议,以及实践判断标准
不能直接比较论文中的数字。RCSD(paper)对比的是 HASS,GTO(paper)对比的是 EAGLE-3,DStill(paper)对比的是一次性生成的 DFlash,TVP(paper)对比的是 CE。基线、Target、任务都不同。接受长度的提升也不等于同等比例的速度提升。Draft 提案成本、树验证成本、服务负载共同影响实际速度,因此引入之前,应在自己的 Target 和自己的流量上同时测量接受长度和吞吐量。
什么时候适合使用?当用 SFT 训练的草稿模型接受长度不再提升时,就适合用 On-policy 蒸馏或接受长度损失进行后训练。Draft-OPD(paper)和 SpecOPD(paper)都针对这一停滞阶段。从头训练时,如 TVP(paper)的结果所示,先用广覆盖目标、再转向面向接受的目标更稳妥。损失应根据解码方式选择:greedy 验证用 EAL,采样解码则用像 WTV 这样反映温度和连续接受的损失(paper)。如果服务需要大量生成长回答,应先检查 Test-Time Speculation(paper)所揭示的长输出下接受长度崩塌问题。
这里也整理一下常见错误。第一,只借助 Target 收集数据却称之为 On-policy。这样数据会服从 Target 分布,On-policy 信号消失(paper)。第二,在并行草稿模型上分别拟合每个前缀各不相同的 Target 答案。这可能连合理的替代 token 也压制掉,导致接受率下降(paper)。第三,让模型连 Target 的高熵区间也去模仿整个分布。这可能削减接受率(paper)。第四,忽视块损失的近似可能扭曲梯度(paper)。On-policy 训练还有一个局限:反复提案和验证的收集成本很高。SpecOPD(paper)的分支并行化正是为降低这一成本所做的尝试。
引入 Draft 训练的检查清单
引入判断
- SFT 训练的 Drafter 接受长度是否已停滞
- 解码采用 greedy 还是采样
- 长输出中接受长度是否会下降
- 是否同时测量了接受长度和吞吐量
训练设计
- 数据是否确实来自 Draft 策略
- 是否处理了并行 Drafter 前段的不一致
- 是否在勉强模仿高熵区间
- 块损失的近似是否存在偏差
延伸学习
想打好目标函数的基础,先读接受长度感知训练研究(paper)。它清楚地整理了 greedy 与采样下接受机制有何不同,以及 EAL、WTV 为什么是那种形式。接着通过 TVP(paper)确认“接受概率 = 1 − TV”这一关系,以及靠后位置信号变弱的问题。理论上最严谨的形式可以在 REAL(paper)中看到。
On-policy 数据方面,Draft-OPD(paper)是起点。它对 Draft 难以独立 rollout 这一现实问题及其解法讲得很具体。如果关注服务中的自适应,请看 Test-Time Speculation(paper);把接受、拒绝记录用于偏好学习的方式,请看 RCSD(paper)。树解码与训练的对齐问题由 GTO(paper)讨论。
如果使用块扩散这类并行草稿模型,建议按以下顺序阅读:先用 MDraft(paper)理解块内不一致问题,再看 DStill(paper)如何把多步精炼蒸馏成一步,最后从大规模训练流水线的角度阅读 SpecOPD(paper)。
相关术语
参考资料
奠基论文
- Draft-OPD: On-Policy Distillation for Speculative Draft Models (2026)
- Acceptance-Aware Draft Model Training for Speculative Decoding (2026)
- Bridging Draft Policy Misalignment: Group Tree Optimization for Speculative Decoding (2025)
- RCSD: Reinforcement and Continual Learning for Domain-Specific Speculative Decoding (2026)
- Test-Time Speculation (2026)
- Multi-Draft On-Policy Distillation for Diffusion Drafters (2026)
- DStill: Trajectory Consistency Distillation for Accelerated One-Step Drafting in Block Diffusion Speculative Decoding (2026)
- SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding (2026)
最新研究
由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。