知识蒸馏（Distillation）：把大模型的能力转移到小模型

为什么需要：大模型能力强但成本高

LLM（大语言模型）通常越大表现越好，但生成每个回答所需的计算量和成本也随之增加。实体解析（Entity Resolution）研究判断不同记录是否指向同一对象，该领域的研究 DistillER（paper）以“基于 LLM 的方法性能很高，但计算资源或成本负担很大”作为出发点。智能体方面也一样。D-Skill（paper）指出，用顶级模型构建的智能体能很好地完成复杂任务，但推理成本高，因此把这种能力转移到小模型上已成为必需。

然而，若要从头单独训练小模型，就需要大量由人工标注正确答案的数据（标签）。制作标签既慢又贵。如果已经有一个表现出色的大模型，以它为老师来教小模型要快得多。这就是蒸馏（知识蒸馏）的出发点。负责教的大模型称为教师模型，学习的小模型称为学生模型。

核心思想：不只学答案，还学老师的思考

先打个比方。数学习题册后面的答案页只写着“答案：3”。但旁边的老师会告诉你“几乎可以肯定是 3，但容易误以为是 5，不可能是 100”，也就是每个候选答案有多大可能。学生模型如果不看答案页而是向这位老师学习，就能获得比单个正确答案多得多的信息。

语言模型每次选择下一个 token（词片段）时，都会给词表中的所有候选分配概率。这个概率分布通常称为软标签，蒸馏就是训练学生，使其分布接近教师的分布。衡量两个分布差异的尺度常用 KL 散度。无法直接看到概率时，也会只收集教师生成的回答文本来微调学生，这也属于广义上的蒸馏。

这个分布中包含的信息比想象的多。研究隐藏偏见的 Distill to Detect（paper）援引先前研究指出，即使用与主题无关的数据进行蒸馏，偏见也可能被转移，而且这种信号只存在于软 logit 分布中，而不在生成的文本里，因此仅阅读文本是看不出来的。这意味着无论是好的知识还是坏的习惯，都会沿着概率分布一起转移。

如何运作：Off-policy 与 On-policy

根据由谁来写训练所用的答案，蒸馏大体分为两类。第一类是 Off-policy 方式：① 把问题交给教师模型，② 收集教师写出的回答（如果可能，还有概率）作为数据，③ 对学生进行 SFT（监督微调），让它模仿这些回答。这种方式易于实现，可以提前准备好数据。DistillER（paper）报告称，在没有人工标注正确标签的情况下，用 LLM 教师生成的、不太准确的标签对学生进行 SFT 的方式，始终优于其他蒸馏策略，而且也能很好地生成解释判断理由的文本。

第二类是 On-policy 方式（OPD，On-policy Distillation）：① 学生接到问题后自己写出回答（模型自己生成的一个回答称为 rollout，该过程中的 token 序列称为轨迹），② 教师逐个 token 阅读这条轨迹，用概率告诉学生“如果是我，在这个位置会以多大概率选这个 token”，③ 学生据此被修正以缩小差距。DOPD（paper）解释说，这种方式为学生实际生成的轨迹提供细粒度的 token 级信号，因此能更好地转移能力。这就好比不是背诵别人写的范文，而是让老师逐行批改自己写的答卷。

第三类是自蒸馏（Self-Distillation）。它不需要单独的大型教师，而是给同一个模型提供参考答案之类的额外信息（privileged information），让它担任教师。相当于提前看过答案的“我”来教不知道答案的“我”。Self-Distilled Policy Gradient（SDPG，paper）认为，这种 On-policy 自蒸馏能为奖励稀疏的强化学习补充细粒度的监督信号。

发展脉络：各出发点研究的新贡献

本文考察的出发点研究都出现在 2026 年前后，各自拓展了蒸馏的不同方面。DistillER（paper）从数据选择、单教师与多教师、SFT 与强化学习三个维度系统比较了蒸馏，提出了可供实践参考的标准。Distillation Traps and Guards（paper）深入探究失败原因，把教师概率分布尾部的噪声、Off-policy 学习的不稳定，以及最根本的教师与学生之间的能力差距列为“陷阱”。

在 On-policy 方面，给教师提供额外信息时产生的问题浮出水面。DOPD（paper）把“教师因看到参考信息而擅长的部分（学生无法模仿的信息差距）”与“学生真正需要弥补的能力差距”混在一起的现象称为“privilege illusion”，并提出一种按 token 分配教师与学生各自信号使用比重的方法。据称该方法在 LLM 和 VLM（视觉-语言模型）上都稳定优于基础 OPD。SDPG（paper）将自蒸馏与 RLVR（基于可验证奖励的强化学习）结合，报告其稳定性和性能均优于单独使用 RLVR 或自蒸馏。

蒸馏不只用于把模型变小，也用于让同一个模型变快。一项通过自蒸馏让模型一次预测多个 token 的研究（paper）无需额外辅助模型，保持与原始检查点相同的结构，在 GSM8K 上把准确率下降控制在 5% 以内，同时获得了超过 3 倍的解码加速。DiLaDiff（paper）把扩散语言模型中需要多步完成的生成蒸馏为只需几步的模型，降低了计算负担。Distill to Detect（paper）则彻底换了方向，把可疑模型与原始模型之间的分布差异蒸馏到一个小型适配器中，用作揭示隐藏偏见的检测工具。

近期发展方向

第一，出现了不改动权重的蒸馏。D-Skill（paper）把教师视为黑盒，将教师与学生的 rollout 配对比较，找出行为出现分歧的位置，再把其中的经验整理成人类可读的技能文档。学生只在推理时读取这份文档，不进行重新训练。在电子表格、虚拟家务、国际象棋谜题任务中，它弥补了教师与学生之间 75~95% 的能力差距；在同一模型系列内，学生每项任务的推理成本比教师低 5.7~8.3 倍。

第二，“选什么作为教师”成为重要变量。OPDArena（paper）在五个预训练模型上比较了 SFT、RLVR 和 OPD。向经 RLVR 训练的教师学习的学生，在目标任务能力提升的同时保留了原有能力；而向经 SFT 训练的教师学习的学生，失去了更多原有能力。研究还观察到，原领域之外的输出分布变化越大，遗忘程度越大。

第三，理论理解正在跟进。一项 Reverse-KL 策略蒸馏研究（paper）分析指出，在学生用自己生成的回答学习的在线方式中，如果教师只提供学生所选 token 的概率而不是完整的概率分布，可能需要多得多的数据。相反，在用教师生成的回答学习的离线方式中，教师的回答本身就体现了教师的偏好，因此没有这种损失。这说明不能断言“On-policy 一定更好”。

局限与争议

蒸馏失败的情况比想象中更常见。Distillation Traps and Guards（paper）总结指出，教师与学生的能力差距等陷阱会扭曲学习信号，表现为自信地答错的幻觉、自我纠错能力的崩溃，以及局部生成质量下降。也就是说，大型教师并不总是好老师。前面提到的 DOPD（paper）的 privilege illusion 和 OPDArena（paper）的遗忘问题也属于同一脉络。

第二个争议点是知识产权与安全。同一研究（paper）指出蒸馏是模型泄露风险的基础，并提出了调节教师可蒸馏程度的方法。经过“不可蒸馏”校准的教师能保持自身性能，同时让模仿它的学生崩溃。反之，向经过“易于蒸馏”校准的教师学习的学生，表现优于 SFT 和普通蒸馏基线。这意味着它可以成为防范模型窃取（收集他人 API 输出来复制模型）的手段。

第三，隐藏偏见可能被原样转移。正如 Distill to Detect（paper）所述，在供应链某处被操纵、偏爱特定品牌或观点的模型，只在相关话题上露出痕迹，在其他方面与原始模型表现完全相同。如果用这样的模型做教师，偏见就可能通过文本中看不到的概率分布传给学生。验证所用的教师本身就成了关乎质量与安全的问题。

延伸学习

如果是初次接触，建议先读 DistillER（paper）。它逐一比较了单教师与多教师、SFT 与强化学习等实践中真正需要权衡的选项，有助于理解从哪些维度设计蒸馏。接着读 Distillation Traps and Guards（paper），可以同时了解失败原因和模型保护这一争议点。

如果对 On-policy 方向感兴趣，可以通过 DOPD（paper）掌握 OPD 的基本结构和 privilege illusion，再通过 SDPG（paper）了解自蒸馏如何与强化学习结合。之后用 OPDArena（paper）了解教师选择对遗忘的影响，用 Reverse-KL 策略蒸馏研究（paper）确认在线与离线方式的理论差异，脉络就能连贯起来。

应用方面，读一读提升速度的多 token 预测研究（paper）、不动权重而通过技能文档转移能力的 D-Skill（paper），以及用于安全检测的 Distill to Detect（paper），就会发现蒸馏的用途远比“做小模型”广泛。