自蒸馏微调（SDFT）：学新知识而不遗忘

为什么需要：微调之后会遗忘

微调（Fine-tuning，指用特定任务数据对已训练好的模型做进一步训练）的基础是 SFT（监督微调）。做法是把问题和示范答案配成对，训练模型逐个 token 原样输出这个答案。它简单且效果好，几乎所有后训练（Post-training）都会用到。

问题在于，示范答案并不是模型自己写的。由人或其他模型写出的答案，在用词、长度和语气上都与该模型原有的分布（即它认为什么内容有多合理）不同。强行弥合这种差异，会让模型内部发生较大变化，原本擅长的指令遵循、安全回应以及其他领域的能力随之崩塌。这被称为灾难性遗忘（catastrophic forgetting）。“SDFT 2024”研究（paper）认为，任务数据集与 LLM 之间的分布差异是这一问题的主要原因。

“基于自蒸馏的持续学习”研究（paper）从训练方式的角度梳理了同一问题。用模型自己生成的 rollout 来学习的 On-policy 强化学习遗忘较少，但需要明确的奖励函数，而这样的奖励函数往往并不存在。最终，要从示范（示范答案）中学习就只能用 SFT，而 SFT 本质上是 Off-policy（用非模型自身生成的数据来学习的方式）。SDFT 正是为了填补这两种方式之间的空白而提出的。

核心思想：不照抄答案，而是用自己的话改写后再学

打个比方：SFT 相当于让学生一字不差地抄写范文。内容是学到了，但平时自己的字迹和说话习惯也被打乱了。SDFT 则是先给学生看范文，然后说“参考这个，用你自己的话重写一遍”，再拿这样写出的文章来练习。该学的内容学进去了，句子却是学生自己的，因此对原有水平的破坏更小。

蒸馏（Distillation，知识蒸馏）原本是让小的学生模型模仿大的教师模型输出分布的技术。自蒸馏（Self-Distillation）指教师模型和学生模型是同一个模型。不同之处在于只有教师模型一方掌握更多信息，例如事先看过示范答案，或者提示中包含示范。因此，教师模型的输出就成为“包含正确答案信息、但又是该模型原本可能写出的分布”。

这一设计的取舍很明确：与直接使用外部标准答案相比，信号可能不那么尖锐；但训练信号停留在模型分布之内，因此在学习新知识与保住原有能力之间取得了更好的平衡。同样叫 SDFT 的有两种实现，整理在下方的对比表中。

如何运作：两种 SDFT

第一种是“SDFT 2024”（paper）提出的数据改写方法。(1) 把任务数据中的问题和原始标准答案一起交给模型。(2) 模型参考该答案，用自己的话重新写出答案。(3) 用这样蒸馏得到的数据集代替原始标准答案，进行普通的 SFT。关键在于让训练数据与模型原有的分布对齐。论文报告称，在 Llama-2-chat 实验中，该方法在减少遗忘的同时，下游任务性能与普通微调相当或更高，并且在保持有用性（helpfulness）和安全对齐方面也显示出潜力。

第二种是“基于自蒸馏的持续学习”研究（paper）中的 On-policy 方法。(1) 学生模型不看示范，只看问题，自行生成答案。这就是 On-policy 数据。(2) 把示范作为提示一并输入同一个模型，这就是教师模型。凭借上下文学习能力，教师模型的判断比学生模型更好。(3) 在学生模型生成的答案的每个 token 上，以教师模型给出的概率分布为训练目标，朝缩小两个分布差异的方向更新学生模型。这相当于无需奖励函数、仅凭示范就获得了 On-policy 训练信号。

第二种方法为什么能减少遗忘，可以用“在模型实际走的路径上学习”来解释。SFT 强迫模型沿着它本不会走的句子路径前进；而 On-policy SDFT 是在模型自己生成的轨迹上，逐个 token 只做轻微的方向修正。“测试时自蒸馏”研究（paper）将这一结构解释为：以示范为条件时产生的逐点互信息（pointwise mutual information）充当了隐式奖励。也就是说，它看起来像强化学习，却不需要另外构建奖励模型。

发展脉络：恢复、信息量调节、小模型

起点是前面介绍的两项研究。“SDFT 2024”（paper）用缩小分布差异的数据缓解了遗忘。“基于自蒸馏的持续学习”（paper）报告称，在技能学习和知识获取任务中，新任务准确率高于 SFT，遗忘也大幅减少。在依次学习多项技能的实验中，单个模型也能在性能不下降的情况下不断积累技能。两项研究名称相同，但运作方式不同。

“作为性能恢复手段的自蒸馏”研究（paper）不仅把 SDFT 用于应对遗忘，还把它用作恢复工具，找回因量化或剪枝（pruning）而下降的性能。该研究认为 LLM 的生成能力取决于隐藏层形成的高维结构（manifold），并用 CKA（Centered Kernel Alignment）衡量学生模型与教师模型的激活轨迹吻合程度。结果显示，性能恢复与该结构的对齐程度高度相关。这相当于从内部表示的角度为“SDFT 为什么有效”提供了解释。

iSDFT（paper）指出了 On-policy SDFT 的弱点。原有方法总是把学生模型一路拉向看过完整示范的教师模型，无法逐个 token 调节传递多少示范信息。iSDFT 把教师模型视为“按既定预算提供信息的来源”，在每个 token 上以满足信息约束、同时最接近当前学生模型的分布为目标。为防止累积偏离，还把它锚定到固定的原始模型上。在四种 LLM 和两项专门任务上，8 个设置中有 7 个优于原有 SDFT，其余 1 个持平。73% 的评估与原始模型的差距保持在 0.5 分以内，而最强的对比方法为 52%。

SynthSelf（paper）针对的是 SDFT 在小模型上失效的问题。SDFT 需要较强的上下文学习能力和指令遵循能力，而小模型在这方面较弱。该研究表明，习得不足和遗忘都与训练后的分布偏移呈线性相关，并把改写工作交给同系列中“稍大一些”的模型。在此基础上，它结合了 Off-policy 监督和拒绝采样（rejection sampling，即丢弃质量低的生成结果）。在 4 个习得数据集和 14 个保持基准上，3 种小模型规模全部优于 6 种方法。

最新动向

第一个方向是扩展到没有示范的情形。SD-Zero（paper）让一个模型扮演两个角色。生成器（Generator）先给出答案，修正器（Reviser）根据该答案及对/错奖励生成更好的答案。随后通过 On-policy 自蒸馏，把修正器的 token 分布蒸馏给生成器。这是一种尝试：把 RLVR（基于可验证奖励的强化学习）中二元奖励信号稀疏这一局限，转化为 token 级的稠密信号。论文报告称，在 Qwen3-4B-Instruct 和 Olmo-3-7B-Instruct 上比原始模型至少提升 10%，并且在相同问题集和训练样本预算下优于 RFT、GRPO 和 SDFT。

第二个方向是不经训练、在推理时运用同一原理。“测试时自蒸馏”（paper）不使用示范，而是在上下文中放入固定措辞，分别假设“推理得非常好的情境”和“推理得很糟糕的情境”，再把候选答案在两种条件下的对数概率比作为奖励。用这个奖励重新加权后的分布无法按 token 拆分，因此用束搜索来近似。论文称在 MATH500、HumanEval 和 GPQA 上优于普通采样、低温度采样和普通束搜索。

第三个方向是将其纳入实际的领域后训练。金融推理后训练研究（paper）在 SFT 和强化学习之外，把自蒸馏 SFT 和模型合并用作“避免丢失原有金融能力的手段”。在 FINESSE-Bench 上，普通 SFT 使准确率下降 3.2~4.0 个百分点，而自蒸馏 SFT 比起始模型提高了 1.0~2.8 分。等权重合并比 SFT 模型找回了 3.0 分，比原始模型高 0.9 分。在智能体方面，ACLArena（paper）系统比较了在多阶段后训练中，多教师 On-policy 蒸馏、自蒸馏微调和模型合并分别能在多大程度上恢复先前的能力。

局限与争议：何时使用，何时回避

最大的前提是模型必须能在上下文中很好地利用示范。正如 SynthSelf（paper）所示，On-policy SDFT 在小模型上可能失效。如果是端侧小模型，就需要考虑把改写工作交给同系列中稍大模型的变通办法。此外，教师模型归根结底就是模型自身，因此在注入模型原本完全不了解的知识时，信号的准确性受限于教师模型的水平。

第二个争议是“要在多大程度上跟随教师模型”。正如 iSDFT（paper）所指出的，如果无条件地传递全部示范信息，就没有在专门性能与通用能力之间进行调节的旋钮；反之，传递得太弱，新任务又学得不够。即使名称相同，数据改写型（paper）和 On-policy 型（paper）的成本结构也不同。改写型只需生成一次再运行普通 SFT；On-policy 型需要在训练中持续生成并计算教师模型概率，训练成本更高。

实际判断标准如下：在把通用助手适配到特定业务、同时需要保住安全回应或指令遵循时，在分多个阶段依次添加功能时，以及希望恢复量化后下降的性能时，值得考虑这种方法。反之，如果目标是彻底改变模型的语气或格式本身，SDFT 保持原有分布的特性反而可能成为阻碍。常见的错误是只看新任务得分就下结论。该技术的价值在于保持性能，因此必须同时衡量相对于原始模型的通用基准变化。最好也像金融研究（paper）那样，与模型合并这类其他选项一并比较。

应用于具体领域时，还应同时设置验证机制。在医疗这类重视知识一致性的领域，Evontree（paper）先用本体规则找出模型知识中的不一致之处，再用自蒸馏微调补全空缺。论文报告在医疗 QA 上准确率最多提升 3.7%。模型自己生成的信号也可能夹带它自身的错误，因此用规则或验证器等外部标准进行过滤的步骤实际上是必需的。

延伸阅读

建议先并排阅读两个起点。“SDFT 2024”（paper）展示了分布差异这一问题设定，以及数据改写这一最简单的解法。它还有公开代码，便于复现。接着阅读“基于自蒸馏的持续学习”（paper），就能清楚看到为什么要用 On-policy 学习来解决同一问题。

之后可以按兴趣选择。想了解原理，可以读用内部表示对齐来解释的“性能恢复”研究（paper）。需要可调节的变体，适合读 iSDFT（paper）；以小模型为对象，适合读 SynthSelf（paper）。想了解与强化学习的交汇点，推荐 SD-Zero（paper）和“测试时自蒸馏”（paper）。

实际应用案例方面，金融后训练流水线（paper）和智能体持续学习对比（ACLArena，paper）在相同条件下比较了 SFT、模型合并和自蒸馏，有助于建立选择标准。