论文解读 · 2026年10月17日
Waypoint-OPD：通过中间检查点门控迁移强化学习所产生策略变化的On-policy Distillation
Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
利用教师模型强化学习的中间（Waypoint）检查点，判断前期与后期的策略变化方向是否一致，以此过滤迁移信号；在数学和代码共6个设置中，平均分均高于现有蒸馏方法。
问题
Direct-OPD等策略变化蒸馏方法会把教师模型强化学习前后的对数概率差（端点变化）传递给学生模型。然而，同样的端点变化，可能是训练前期和后期的变化相互强化的结果，也可能是相互抵消后剩下的结果。仅看端点无法区分这两种情况。
方法
在同一次强化学习运行中固定Initial（训练前）、Waypoint（中间）、Final（训练后）三个教师模型检查点。在学生模型生成的每个prefix上，选取学生模型概率最高的k个（实验中为16个）候选token。对这些候选计算Initial→Waypoint变化和Waypoint→Final变化，减去候选的公共分量进行中心化后，计算余弦相似度。将该值转换为max(0, cos)门控，并乘到Initial→Final端点信号上。两个变化方向相反时关闭信号，方向相同时保留。在批次级别对门控均值进行归一化，并设置相对于学生初始模型的KL惩罚。与Direct-OPD相比，额外成本只有对固定教师模型的一次scoring pass。
结果
- 在7个数学基准的平均分（mean@32）上，相比Direct-OPD，Qwen3-8B从53.96升至56.14，Qwen3-14B从57.61升至59.20，Qwen3-30B-A3B从55.96升至57.85。21项比较中有19项得到提升。
- 在5项代码评估的平均分（mean@8）上，相比Direct-OPD，Qwen3-8B从50.59升至53.25，14B从56.30升至57.82，30B-A3B从56.35升至57.54。作者报告15项比较全部得到提升。
- 14B学生模型的数学平均分比Final Qwen3-4B教师模型（56.13）高3.07分。
- 在Qwen3-8B数学实验中，去掉门控或打乱门控后性能下降。作者将此作为时间方向一致性门控有效的依据。
局限
实验中教师模型只有Qwen3-4B一个，学生模型只有同属Qwen3系列的三个模型。该方法要求教师模型与学生模型共享分词器。消融实验只在Qwen3-8B数学设置中进行。学生模型检查点按AIME 2024分数选取，而AIME 2024也包含在评估基准中。作者也指出，方向一致并不保证信号有益。
意义
这是一条把在一个模型上投入的强化学习成本复用到其他规模模型上的实用路径。训练时只需多保存一个检查点，就能以较小的额外成本提高迁移质量，对同时运营多种规模模型的团队有意义。
关键术语
- On-policy Distillation
- 学生模型在自己生成的响应（Rollout）上接收教师模型信号进行学习的蒸馏（知识蒸馏）方式。与只模仿教师模型生成答案的方式相比，训练条件与实际使用条件之间的差异更小。
- 策略变化（Policy Shift）
- 强化学习前后教师模型对同一token给出的对数概率之差。它反映强化学习让模型更偏好哪些选择。
- Waypoint检查点
- 在同一次强化学习运行的中间节点保存的模型。用作比较训练前期与后期变化方向的参照点。
- 门控（Gating）
- 根据条件以0~1之间的权重削弱或关闭信号的机制。这里由两个变化的方向一致程度决定权重。
原文
作者: Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu, Yuewei Zhang · 发布 2026-10-15 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。