Distillation

工作原理

首先准备一个大而准确的Teacher模型，把相同的输入同时送入Teacher模型和Student模型。为了让Student模仿Teacher给出的答案，或各答案为正确答案的概率分布，朝着缩小两者差异的方向训练Student。与只看一个正确答案相比，看Teacher的概率（其中还包含“其他答案有多大可能”）能让Student学到更多。在语言模型中，把Teacher生成的回答或解题过程用作训练数据的方式也很常见。由Teacher对Student自己生成的答案给出反馈的On-policy Distillation等变体也在研究中。

为什么重要

大模型性能好，但运行成本高、速度慢，很难直接用于智能手机或实时服务。使用Distillation，小模型可以继承大模型相当一部分能力，用起来更便宜、更快。因此，它被用作打造SLM（小型语言模型）和端侧AI的核心技术。在扩散模型中，它也被用来把多步生成过程压缩为较少的步数。

须知要点

Student通常很难超越Teacher，还可能一并继承Teacher的错误或偏见。如果两个模型的分词器（把文本切分为token的方式）不同，就很难按token逐一对照比较答案，需要额外处理。Distill其他公司模型的输出可能引发违反使用条款的争议，需要注意。它常与量化、剪枝等其他缩小模型的技术一起使用。

示例

本站报道过的Paradee消息就是一个好例子。其内容是以已公开的语音合成模型Kokoro-82M为Teacher，Distill出一个只发出单一人声、8M参数规模的小型TTS模型。像这样把大模型的能力转移到小模型上，就可以直接在设备上运行或降低服务成本，因此许多公司在制作自家大模型的小型版本时都会采用这种方法。

本站出现过的地方

• 论文 重新审视分词器不同的模型间的On-policy Distillation：比起Alignment范围，监督信号的可靠性更重要 2026-10-08
• 论文 Kandinsky 6.0 Video：同步生成视频与音频的基础模型 2026-10-07
• 简报 Paradee：将 Kokoro-82M 蒸馏为 8M 参数的单一音色 TTS 2026-10-06

相关术语

SLM 端侧 AI 量化 SFT 后训练 扩散模型