论文解读 · 2026年10月16日

超越领域路由：面向多教师在线策略蒸馏的跨教师门控

Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation

将非负责领域的教师模型用作同一轨迹的辅助评估者，以调整词元权重和梯度，减少了领域间冲突导致的性能下降。

问题

多教师在线策略蒸馏（MOPD）将各领域的数据发送给对应的专家教师模型，以训练学生模型。但所有领域的更新都累积在同一组参数上。当把医学与数学、代码这类回答风格差异很大的领域一起训练时，梯度冲突会持续出现，医学性能低于单领域训练。

方法

Road MOPD 保留负责该领域的教师模型的指导不变，并将其他领域的教师模型用作同一条学生轨迹的辅助评估者。在词元层面，将两个教师模型的对数概率与固定的参考模型比较，计算一致度。两个教师模型支持同一方向时增大奖励，方向相反时减小奖励。在梯度层面，预先去除与辅助教师模型在同一轨迹上产生的梯度相冲突的分量。此时会调节去除程度，使原始梯度大小保持在一定比例以上。

结果

在 Qwen3-4B、数学×医学组合下，医学平均分为 48.23，高于 Vanilla MOPD（39.45），恢复到与单领域 OPD（47.90）相近的水平。整体平均分为 47.92，在对比方法中最高（CaMOPD 为 47.20）。
在 Qwen3-1.7B、数学×医学组合下，医学平均分为 36.89，高于 Vanilla MOPD（31.18），整体平均分 32.05 也是最高的。
作者报告称，在冲突较大的设置下，医学准确率比 Vanilla MOPD 提高了 5.6~8.8 个百分点；在冲突较小的组合和三领域设置下，整体性能也有所提升。

局限

在 Qwen3-1.7B 上，数学平均分为 27.21，低于 Vanilla MOPD（28.36），说明存在以牺牲其他领域部分性能为代价来挽救弱势领域的情况。辅助教师模型需要额外对同一轨迹打分，并单独计算梯度，因此训练成本会增加。实验中的学生模型都是 4B 及以下的小模型。作者也指出，梯度投影只是局部性质，并不能保证辅助领域的性能。

意义

这项工作表明，在将多个专家模型蒸馏为一个模型时，在数学和代码上有效的方法在其他领域组合中可能失效。它提出了一种在训练过程中直接处理领域间兼容性的方法。

关键术语

On-policy Distillation(OPD): 由教师模型对学生模型自己生成的轨迹给出词元级反馈的蒸馏（知识蒸馏）方式。它能缩小训练与推理时所见分布之间的差异。
MOPD: 设置多个按领域划分的专家教师模型，将每类数据发送给负责的教师模型，以训练同一个学生模型的方式。
梯度冲突: 不同领域的更新方向相反（内积为负），导致改进一方就会使另一方变差的现象。
梯度投影（PCGrad 类方法）: 减去与其他梯度方向相冲突的分量，从而修正更新方向的技术。本文在更新之前预先进行部分投影。

原文

作者: Shi-Yu Tian, Yong Liu, Ximan Liu, Tianrui Zhu, Sule Bai, Xinwei Yang, Ruiqi Liu, Kun-Yang Yu, 等 · 发布 2026-10-09 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。