专题深读 · 2026-11-12 · 进阶 · 作者 bombong
On-policy 蒸馏:用学生模型生成的 rollout 来学习
On-policy 蒸馏(OPD)是一种后训练方法:在学生模型自己生成的 rollout 上,由教师模型逐 token 以概率分布进行批改。它结合了 SFT 的密集信号和强化学习的 on-policy 数据,也因此带来了成本和不对称问题,2026 年的研究正从多个方向加以改进。
- OPD 是在学生模型自己生成的 rollout 上,由教师模型逐 token 用下一个 token 的分布进行批改的方法。其目的是缩小训练时与实际使用时的情境差异。
- 它结合了 SFT 的密集信号和强化学习的 on-policy 数据。代价是训练过程中产生生成和打分的成本,并且出现一种不对称:教师模型需要评判并非自己写出的前缀。
- 后续研究分别改进了纠正范围(SOPD·BranchOPD)、教师端的不匹配(SCOUT·BOPD)和信号形式(O³PD·RouteOPD)。
- 近期研究正转向成本与规模问题,例如量化和异步 rollout 可以容许到什么程度、教师模型的介入可以减少多少、如何在多个教师模型之间分配训练预算。
- 在实践中,应首先检查教师模型的温度、教师模型在长前缀上所作判断的质量,以及长时间进行自蒸馏时的性能下降。
为什么需要:只照抄教师模型的答案会发生什么
蒸馏(知识蒸馏)是把大型教师模型的能力迁移到小型学生模型的方法。最简单的形式是收集教师模型写出的答案,让学生模型照着学,即 SFT(监督微调)。这些训练数据由教师模型生成,因此对学生模型来说是 off-policy 数据,也就是由他人行为产生的数据。
问题在实际使用时暴露出来。训练期间,学生模型只练习在教师模型写好的前缀之后接着写。但实际作答时,它必须根据自己写出的前缀来选择下一个 token。一旦偏离,就会进入训练中从未见过的情境,在那里再犯错,错误便不断累积。DP-OPD(paper)将其称为暴露偏差(exposure bias),以及沿长 rollout 累积的错误。
另一端是强化学习。由于学生模型自己生成答案,不存在这种不匹配。但它通常只得到“答案对不对”这样的单个结果分数,无法知道长答案中哪些 token 做得好、哪些做得不好。On-policy 蒸馏(OPD)在两者之间选择了这样的组合:“在学生模型自己生成的轨迹上,由教师模型逐 token 给出密集信号”。
核心思想:坐在副驾驶座上的教练
可以用驾驶培训来类比。off-policy 方式相当于看着教练开车的视频来学习。OPD 则是学员亲自握方向盘,副驾驶座上的教练随时指出“这里应该这样”。批改发生在学员实际驶入的道路上,因此学员经常犯错的情境会直接成为练习对象。
SOPD 论文(paper)将 OPD 概括为“在学生模型生成的轨迹上,使学生模型拟合教师模型的 logit 分布(各候选下一个 token 的得分)的方法”。论文还指出,OPD 往往能用比传统 off-policy 蒸馏少得多的数据取得更好的结果。
但这也有代价。每次训练时学生模型都要生成新的 rollout,教师模型也要重新读取所有这些 token。这相当于减少了预先准备数据的成本,转而承担训练过程中生成和打分的成本。此外,教师模型还必须根据并非自己写出、有时甚至离题的前缀来作判断。后文介绍的后续研究中,相当一部分正是针对这一点。
三种后训练方式
SFT·Off-policy照着教师的回答写
- 训练时看到的前文与实际不同
- 误差累积的暴露偏差
- 预先生成数据
On-policy Distillation对自己的回答逐 token 批改
- 训练与推理情境一致
- 逐 token 的密集信号
- 训练中的生成与评分成本
强化学习(RLVR)只获得结果分数
- 训练与推理情境一致
- 只有结果分数,信号稀疏
- 需要正确性判定器
공통 都是在后训练中打磨学生行为的方法
如何运作
一个训练步骤大致按以下顺序进行。第一,把提示词交给学生模型,学生模型按自己的方式完整生成答案,这就是 rollout。第二,把同一提示词和学生模型的答案一起输入固定的教师模型,让它在每个位置计算“如果是教师模型,下一个 token 会以多大概率选择什么”。教师模型不写新内容,只读取已写好的文本,因此读一遍就能得到所有位置的概率。第三,以每个位置上学生模型与教师模型的概率差作为损失来更新学生模型。之后再用更新后的学生模型重新生成 rollout。
损失通常采用基于采样的 reverse-KL。RouteOPD(paper)也以此作为比较基准。为了提高效率,只在学生模型实际选中的 token 上计算教师模型与学生模型的差异,并把这个值用作“提高/降低该 token 概率”的分数。RouteOPD 指出,这类分数并不能告诉模型应从哪里减少概率、再移到哪里。
总结来说,OPD 是在强化学习的骨架(自行生成 → 信号 → 更新)中嵌入蒸馏的密集信号(逐 token 的教师模型分布)的结构。与 RLVR(可验证奖励强化学习)不同的是,即使没有答案判定器,只要有教师模型就能运行。
发展脉络:从四个方向改进基础 OPD 的弱点
2026 年的起点研究从不同角度改进了论文中称为 Vanilla OPD 的基础方法的弱点。第一是纠正范围。SOPD(paper)认为,token 级 OPD 只能在走错的轨迹上给出零碎的纠正,无法展示一条从头到尾连贯的正确修复路径。因此它把学生模型的轨迹划分为步骤(step),在每个步骤中利用教师模型接着学生模型前缀续写的回答进行步骤级监督。将步骤长度调到极端时,一端接近 SFT,另一端接近 OPD,是一种居中的方法。在 ALFWorld 上,平均成功率比 Vanilla OPD 高 13.4 分。BranchOPD(paper)针对的问题是,一条轨迹在每个分岔口只展示一条分支。它选取学生模型缺乏把握或与教师模型分歧较大的位置,在共享前缀的情况下重新生成其他分支,并对主干和分支都施加教师模型监督。得益于前缀复用,与生成 7 条独立轨迹相比,学生模型生成 token 的成本在 ALFWorld 上降低约 19%,在 WebShop 上降低约 31%。数学平均准确率(avg@16)比 Vanilla OPD 高 18.55 个百分点。
第二是教师端的问题。SCOUT(paper)指出了 OPD 的不对称:rollout 对学生模型来说是 on-policy,对教师模型来说却是 off-policy。教师模型原本被训练为续写自己写出的前缀,实验表明,学生模型写出的前缀越长,教师模型的续写能力就越差。因此,它在 OPD 过程中定期让教师模型接着学生模型的前缀续写,并以结果奖励进行 RLVR 训练,使教师模型适配学生模型。BOPD(paper)研究的是 on-policy 自蒸馏(OPSD),即不用外部教师模型,而是用同时获得参考资料的自身副本作为教师模型。报告指出,它在初期效果显著,但随着不断变化的学生模型与固定的教师模型之间差距拉大,训练时间越长,性能可能大幅下降。解决方法分两步:先用 OPSD 将知识装入一个中间模型;再以这个无需参考资料即可运行的中间模型作为教师模型,重新蒸馏到初始模型的新副本中。
第三是信号的形式。O³PD(paper)认为,教师模型的 token 概率中混合了“偏好哪个 token”和“有多确定”两种信息。确定程度反映的是教师模型自身的能力,小型学生模型难以模仿。因此它只让学生模型匹配前 K 个 token 的排序。排序不随教师模型温度变化,因此无需调整温度。在全部六组教师–学生组合中,HMMT25·AIME24·AIME25 的平均成绩都高于 OPD(最多高 2.9 分),在 AIME25 上最多提高 5.6 分。RouteOPD(paper)则反其道而行,让信号更加丰富。它把教师模型与学生模型的差异分为概率过多的位置(出发地)和概率不足的位置(目的地),再将两者配对,明确规定概率应从哪里移到哪里。
第四是存在约束条件的情形。DP-OPD(paper)在用敏感数据构建小模型时,只在学生模型训练(DP-SGD)中施加差分隐私(一种数学保证,使外界无法看出某条记录是否被用于训练)。固定的教师模型只在学生模型生成的轨迹上提供逐 token 的目标。在隐私预算 ε=2.0 下,与基于合成数据的方法相比,perplexity(越低越好的语言模型指标)在 Yelp 上由 44.15→41.68,在 BigPatent 上由 32.43→30.63,均有改善。
后续研究的代表性数据
最新动向
2026 年 11 月发表的研究正朝着让 OPD 更便宜、应用更广的方向发展。首先是成本。不匹配容忍研究(paper)测量了为降低 rollout 生成成本而使用量化推理和异步 rollout 时所产生的训练-推理不匹配,OPD 能承受到什么程度。即使存在相当程度的不匹配,OPD 的训练质量也没有大幅下降,在会使强化学习不稳定的 rollout 设置下也保持稳定。不过,存在一个经验性的“不匹配预算”,超过一定程度后性能会下降。权重中混入噪声时,生成的前缀本身就会改变,从而产生 token 级纠正无法修复的错误。研究人员提出了一种轻量的检查方法,无需为每种设置都运行完整训练,就能预先筛除不合适的 rollout 设置。
SSD(Speculative Self-Distillation,paper)改进的是生成 rollout 的方式本身。默认由学生模型生成,只有在教师模型的下一个 token 分布与学生模型分歧较大的位置,教师模型才介入并引导方向。这一设计旨在防止完全 on-policy 的 rollout 滑向信号较弱的状态,同时使其尽量接近学生模型实际会采取的行为。在三个闭卷问答基准上,它取得了与 OPD 几乎相同的性能,而监督 token 用量减少了 38~69%。
另一个趋势是将多个教师模型合而为一。将数学、代码生成、指令遵循等各领域的多个专家教师模型合并到一个小型学生模型中的多教师 OPD(MOPD)正在增多。RDS-MOPD(paper)研究的是如何在各领域之间分配有限的训练预算。它采用优先照顾成绩最差领域的鲁棒优化,同时避免把少量 rollout 带来的噪声误认为最坏情况:只有当差异明显大于噪声时才调整分配,并以各领域距自身最佳水平的差距作为基准。
局限与争议:何时使用,需要注意什么
OPD 适用的情形如下:有一个更强的教师模型,并且能在学生模型的前缀上计算该教师模型的 token 概率。当答案判定器难以构建,或仅靠结果奖励信号过于稀疏时,它尤其有用。反之,由于需要教师模型的下一个 token 分布,很难把只返回文本的模型用作教师模型。此外,一般还要求两个模型能在相同的 token 单位上比较概率。
第一个常见错误是无条件信任教师模型。正如 SCOUT(paper)所示,学生模型的前缀越长,教师模型的判断也越不稳定。对于长推理或多轮智能体任务,值得单独检查教师模型能否在学生模型的前缀上正确续写。如果是自蒸馏,正如 BOPD(paper)所报告的,训练时间越长性能可能出现拐点下滑,因此应持续评估中间检查点。
第二个常见错误是随意设定教师模型温度。据 O³PD(paper),OPD 对教师模型温度的选择很敏感。应比较多个取值后再确定,或考虑采用基于排序的损失等不受温度影响的目标。第三个常见错误是在削减 rollout 成本时越界。据不匹配容忍研究(paper),OPD 对量化和异步 rollout 的承受能力相对较好,但也有限度。较稳妥的做法是先用小规模实验确认更改后的设置不会降低质量。
结构性局限也依然存在。正如 SOPD(paper)所指出的,token 级纠正无法整体修正走错的路径。正如 BranchOPD(paper)所指出的,一条轨迹在每个分岔口只展示一条分支。在智能体等长任务中这些局限尤为明显,因此应同时考虑步骤级监督或分支等补充手段。
引入 OPD 前的检查
Teacher
- 教师能否顺畅续写学生生成的前文
- 是否比较了多个教师温度值后再确定
- 两个模型的 token 概率能否在同一单位下比较
训练运维
- 量化和异步 rollout 是否会降低质量
- 若是自蒸馏,是否评估了中间检查点
- 长程智能体任务是否需要步骤级监督或分支补充
延伸学习
如果是初次接触,建议先读 SOPD(paper)。它把 SFT 和 OPD 放在同一条轴线的两端来讲解,便于把握两种方法的差异。接着通过 SCOUT(paper)理解“教师也会处于离策略(off-policy)状态”这一不对称性,再通过 O³PD(paper)追问“教师的概率中究竟有哪些信息被真正传递”,就能看清 OPD 的大部分主要设计问题。
可根据关注点继续阅读以下论文。若关注智能体任务,适合读 BranchOPD(paper);若关心训练系统成本,适合读容忍不一致的研究(paper)和 SSD(paper);若要把多个专家模型合并为一个,适合读 RDS-MOPD(paper)。若处理受隐私约束的数据,DP-OPD(paper)展示了如何利用 OPD 的结构。若想深入了解损失设计,可读 RouteOPD(paper);若关注自蒸馏,可读 BOPD(paper)。
相关术语
参考资料
奠基论文
- Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning (2026)
- Branching On-Policy Distillation (2026)
- On the Off-Policy Teacher in On-Policy Distillation (2026)
- Bootstrapped On-Policy Distillation (2026)
- Order-Only On-Policy Distillation (2026)
- Distillation as Probability Transport: Routed On-Policy Distillation (2026)
- DP-OPD: Differentially Private On-Policy Distillation for Language Models (2026)
最新研究
由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。