论文解读 · 2026年10月8日
重新审视跨分词器的 On-policy 蒸馏：比对齐范围更重要的是监督信号的可靠性
Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
分析了分词器不同的教师模型与学生模型之间的 On-policy 蒸馏，表明只对 1:1 对齐的位置进行简洁的监督，比扩大对齐范围更有效。
问题
On-policy 蒸馏（OPD）让学生模型基于自己生成的回答接受教师模型的反馈来学习。但如果教师和学生的分词器不同，token 边界和词表也会不同，难以比较预测。近期研究不断扩大对齐范围，把无法对齐的片段也纳入监督。然而，扩大范围是否真能相应地改善学习，尚未得到验证。
方法
用两个分词器分别切分学生的回答，只在一个学生 token 与一个教师 token 覆盖同一片段的“严格 1:1 位置”上进行比较。在这些位置上，将两个分布限制在共享词表内并重新归一化，再施加 reverse KL（Strict 目标函数）。在此基准之上又试验了两种做法：（1）对无法 1:1 对应的片段的对数概率，以权重 λ 加入 MSE 损失（span 监督）；（2）将 KL 计算范围缩小到学生选出的共享词表前 k 个。实验在数学和代码任务上使用 3 组教师→学生模型对（Qwen→Llama、Granite→Phi、Granite→Qwen）进行，并通过概率质量测量和梯度诊断来解释结果。
结果
- 静态词表的 Jaccard 重叠率只有 39.49~64.87%，但学生 Rollout token 中有 85.57~96.98% 落在严格 1:1 位置上。
- λ>0 的 18 个 span MSE 设置都实现了 100% 的监督覆盖。但其总体平均准确率比各模型对的 Strict 基准（λ=0）低 0.27~1.20 个百分点。
- 在严格位置上，共享词表平均覆盖了教师概率质量的 99.69~99.90% 和学生概率质量的 98.99~99.81%。仅用学生选出的 top-16，也保留了 93.54% 以上的教师质量和 94.55% 以上的学生质量。
- 限制为 top-16 的训练，保留了使用完整共享词表的 OPD 相对蒸馏前学生模型所获总体平均提升的 96% 以上。完整版和缩减版 Strict 目标函数在三组模型对上的总体平均都高于 ULD、Extended ULD、GOLD 和 SimCT。
- 在仅用 Strict 损失训练的检查点上，span 梯度与 Strict 梯度的方向一致性很弱甚至为负，且其相对大小随训练推进而增大。作者报告称，这可以解释使用 span 监督时准确率下降的现象。
局限
实验仅限于 3 组教师→学生模型对和数学、代码两个领域（DAPO-Math、CodeForces 提示词共 2 万条）。对未对齐片段的监督方式只试验了对数概率 MSE 一种，改用其他目标函数时结论可能不同。对于梯度诊断，作者也只将其解释为“可以解释”准确率下降，并未证明因果关系。
意义
针对不同模型系列之间的蒸馏，本研究为“监督的位置越多越好”这一假设提供了反例。这为实践中只使用 1:1 对齐位置和以学生为准的 top-k 词表、在减少计算量的同时保持性能提供了依据。
关键术语
- On-policy Distillation(OPD)
- 一种蒸馏方法：在学生模型自己生成的回答的每个位置上，训练其分布与教师分布相匹配。学生在其实际会访问的状态上接受监督。
- 跨分词器（Cross-Tokenizer）对齐
- 将分词器不同的两个模型的 token 边界和词表相互对应的过程，同时涉及序列层面（哪些 token 对应同一片段）和词表层面（哪些词表项是共享的）。
- Reverse KL
- 以学生分布为基准衡量其与教师分布差异的KL散度。它促使学生不把概率分配给教师评分较低的token。
- 共享词表（Shared Vocabulary）
- 教师与学生词表中共同存在的token集合。用这一集合对两个分布进行限制和重新归一化后，即可直接比较。
原文
作者: Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu, Yuewei Zhang · 发布 2026-10-06 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。