智能体蒸馏：将教师模型的轨迹传给小型学生模型

为何需要：CoT 蒸馏的瓶颈

大型 LLM 擅长复杂推理，但直接部署到实际服务中成本很高。因此，让小模型（学生模型）学习大模型（教师模型）写出的 CoT（Chain-of-Thought，分步解题过程）的蒸馏（知识蒸馏）被广泛采用。其做法是把教师模型的解题文本当作标准答案展示，并微调学生模型使其照样写出。

智能体蒸馏研究（paper）指出了这种方式的弱点。有些问题需要知道不太为人所知的事实，或要求精确计算，此时小模型能力不足，容易产生幻觉。无论把解题“文本”模仿得多好，模型内部原本没有的知识或精确的算术能力也不会因此产生。

因此，这项研究提出不只迁移思考，而是迁移解决问题的全部行动。也就是把用检索工具查找未知事实、用代码执行计算的习惯也教给学生模型。这样一来，小模型就不必把所有知识都存储在参数中。取而代之，判断“何时查找什么、执行什么”的能力成为关键。

核心思路：传下去的不是答案，而是工作日志

打个比方：CoT 蒸馏是让新人背下前辈所写报告的结论和逻辑。智能体蒸馏则是把前辈的工作日志整本交给新人。日志里记录着“在这里搜索了公司内部 wiki”“这个数字用 Excel 重新算过”“结果不对劲，所以又查了其他资料”之类的内容。新人学到的不是结论，而是做事的方法。

相当于这本工作日志的就是轨迹。它是智能体在解决一个任务期间留下的记录，由思考（thought）、行动（action，例如输入搜索词、执行代码）和观察（observation，工具返回的结果）交替组成。智能体蒸馏把教师智能体生成的这种记录用作训练数据。

还需要了解这一设计做了哪些取舍。小模型减轻了记忆知识的负担，但必须具备工具执行环境（搜索引擎、代码沙箱），而且每次回答都要多次调用工具，因此会产生响应延迟。换言之，在模型规模上节省的部分成本，转而由基础设施和执行环节来承担。

如何运作：从收集到推理

基本流程分为四步。第一，让大型 LLM 作为智能体解决多种任务，收集轨迹。第二，挑选结果良好的轨迹制成训练数据。第三，进行监督学习（SFT），使小模型在相同情境下产生与教师模型相同的思考和行动。此时，工具返回的观察结果不是学生模型要生成的对象，而是给定的上下文。第四，将训练好的学生模型连接到真实工具，作为智能体使用。

智能体蒸馏研究（paper）在这一流程中改进了两处。一是在教师模型一侧使用名为 first-thought prefix 的提示技术，提高教师模型生成轨迹的质量。二是在学生模型一侧使用 self-consistent action generation。推理时不只生成一次行动，而是生成多个候选并选出一致的那个，使小型智能体在测试时更稳定。研究将提升训练数据质量与稳定推理视为相互补充的两个方向。

这项研究在事实知识和数学领域的 8 个推理任务上，同时评估了训练过的领域（in-domain）和未见过的领域（out-of-domain）。结果报告称，0.5B、1.5B、3B 规模的学生模型取得了与通过 CoT 蒸馏训练、大一档的 1.5B、3B、7B 模型相当的性能。

发展脉络：迁移什么

作为起点的几项研究，对“把什么交给学生模型”各自给出了不同答案。首先，智能体蒸馏（paper）确立了迁移由思考、行动、观察混合而成的完整轨迹的基本形式。如前一节所述，它同时处理了教师模型数据的质量和学生模型推理的稳定性。

AgentDistill（paper）则选择完全不进行训练。该研究指出，现有的智能体蒸馏要么整段重放教师模型的轨迹，要么逐步模仿工具使用，导致学生模型在未见过的环境中难以自主规划和行动。作为替代方案，它让学生模型直接使用教师智能体在解决任务过程中自行生成的、结构化且可复用的问题解决模块（MCP 形式的“MCP Box”）。据报告，在生物医学和数学基准上，基于小型语言模型的学生模型取得了与使用 GPT-4o 的 OctoTools 等系统相近的性能。这可以看作一种不改变权重、而是传授工具的方式。

关于终端智能体自我验证的研究（paper）关注轨迹中的特定片段。用 TerminalBench2.1 诊断在命令行环境中工作的 10 个智能体后发现，它们在生成候选解答后几乎总会进行验证，但只发现了错误候选中的 61.43%，并且只修复了所发现错误中的 49.36%。弱点不在于是否开始验证，而在于发现和修复错误的能力。因此，该研究提出的 SCVD（Student-Conditioned Verification Distillation）先让学生模型生成候选解答，然后在同一情境下蒸馏更强的教师模型接着进行的验证与修复过程。在三种 Qwen3.5 模型上，TerminalBench2.1 Pass@1 比基础模型提高 9.74~16.85 个百分点，比一般的完整轨迹蒸馏提高 4.49~8.61 个百分点。作者还表示，该方法避免了完整轨迹蒸馏中出现的 SWE-bench 分布外性能下降。

近期走向：思考还是行动，谁的状态

最近的研究进一步深入探讨两个问题。第一个问题是：是否连教师模型的思考也需要学习。“智能体只在有帮助时才思考”研究（paper）在蒸馏过程中分别改变教师模型的思考和行动，从而分离出各自的影响。在一个广泛使用的智能体基准上改变模型规模进行实验后发现，改变或去掉思考，学生模型的性能都没有太大差异。不过，当思考中包含的信息没有体现在随后的行动中时，学习思考就变得重要。因此，不加区分地学习整条轨迹的惯例需要重新审视。是否加入思考，成为可以根据效率权衡来选择的选项。

第二个问题是：在谁的状态下进行教学。如果只学习教师模型生成的演示（Off-policy），学生模型只会看到教师模型经历过的情境。实际使用时，它会遇到由自己的错误造成的陌生情境，这就是状态分布不匹配。分层智能体蒸馏研究（paper）把是否 On-policy 分为两层：一层是到目前为止的交互记录由谁生成，另一层是当前行动的前部 token 由谁生成。实验结果显示，在学生模型生成的记录上接上教师模型生成的行动前部，这一组合单独使用时提供了最强的学习信号；两层都遵循学生模型的组合大体上最弱。尽管如此，完全 On-policy 的数据与其他组合混合时也有帮助。即使按相同比例混合，配对方式不同，性能也差异很大；把教师模型生成的上下文放在训练前期、把完全 On-policy 的上下文放在后期，结果会更好。

ActionOPD（paper）改变了匹配的单位。token 级 On-policy 蒸馏能解决状态不匹配，但需要教师模型的 token 概率，而且两个模型的分词必须兼容。ActionOPD 在学生模型遇到的每个状态下，分别从学生模型和黑盒教师模型采样行动，然后以学生模型的行动与教师模型的行动在语义上的吻合程度作为奖励来优化策略。既不需要复现教师模型写出的推理文本，也不需要查看教师模型的概率。用该方法训练 Qwen3-4B 和 Qwen3-8B，在 4 个分布外基准上平均提升 3.3~6.9 个百分点，而且教师模型和学生模型无需属于同一模型系列或使用相同的分词器。

局限与争议：实际选择时需要考虑的问题

第一，用 SFT 学习完整轨迹的方式最简单，适合作为起点，但并非万能。正如自我验证研究（paper）所示，它在分布外任务上的性能可能下降，而且学生模型一旦偏离教师模型走过的路径，就从未学过如何恢复。如果部署环境与训练任务差异很大，可以考虑加入 On-policy 要素，让学生模型在自己生成的状态下接收教师模型的信号。

第二，无条件增加 On-policy 也未必更好。分层研究（paper）报告称，两层都遵循学生模型的组合单独使用时最弱。常见的错误是只调节“On-policy 比例”这一个数字。需要同时设计把哪一层交给学生模型、以及如何安排训练顺序。On-policy 方式在训练期间也要让学生模型在真实环境中运行，因此环境搭建和运行成本更高，这一点也要计算在内。

第三，对教师模型的访问权限决定了方法。如果是商用 API 模型而拿不到 token 概率，或者分词器不同，就很难使用 token 级 On-policy 蒸馏。这时，ActionOPD（paper）这类行动级方式，或 AgentDistill（paper）这类无需训练、复用教师模型所制作工具的方式，就成为候选。

第四，学习思考可以与成本进行权衡。思考 token 会让训练数据和推理输出都变长。已有结果（paper）表明，去掉思考后性能往往仍能保持，因此要先确认任务中是否存在只包含在思考里、却不体现在行动中的信息。这里出现的数值都是在各篇论文设定的基准和配置下得到的结果。不要指望它们能在自己的业务任务中原样复现，应自行构建评估集进行验证。

延伸学习

初次接触的话，先读智能体蒸馏（paper）。它能帮你建立基本框架：为什么仅靠 CoT 蒸馏不够，以及如何分别处理轨迹质量和推理稳定性；代码也已公开，适合亲手复现。接着读 AgentDistill（paper），可以对比一种截然相反的设计：不训练权重，而是传递工具。

然后依次看“教什么”和“在哪里教”。探讨学习思考必要性的研究（paper）和只挑选验证、恢复片段进行蒸馏的 SCVD（paper），追问的是轨迹中哪些部分真正有用。把 On-policy 程度分为两层的分层研究（paper）和行动级 On-policy 蒸馏 ActionOPD（paper），展示了在学生模型的状态下提供教师模型信号的设计。把这四篇放在一起读，可以看到从整体学习轨迹转向只挑选所需部分来学习的趋势。