论文解读 · 2026年10月16日
方法越多，智能体就越好吗？重新审视智能体强化学习中的自蒸馏方法
More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
在相同条件下将 10 种基于自蒸馏的智能体强化学习方法与 GRPO 进行比较，确认没有一种方法能稳定胜过 GRPO。
问题
智能体强化学习中的自蒸馏方法正在快速增多。但各篇论文直接沿用实验条件不同的基线分数，同期方法之间直接比较的情况也很少。训练稳定性和计算成本也很少报告，因此难以判断所报告的性能提升从何而来。
方法
将 10 种代表性方法与 GRPO 一起，在 ALFWorld、ScienceWorld、Search-QA、WebShop 四个环境和三种模型规模上，以相同条件进行训练和评估。预训练模型和训练后的 11 种方法都使用 8 个 Rollout 种子重复评估。除最终性能外，还分析了训练进程、稳定性和实际测得的计算成本。
结果
- 共进行了 132 次训练，规模达 H800 GPU 12,124.4 小时的对比实验。
- 作者报告称，优于 GRPO 的性能提升仅出现在部分设置中，没有任何方法能在所有设置下持续胜过 GRPO。
- 有些情况下即使最终性能较好，训练过程也不稳定。
- 投入更多训练成本，性能并不会一致地提升。
局限
本分析基于摘要。未能确认各方法的数值、模型规模以及所比较方法列表的详细内容。结论仅限于四个环境和三种模型规模的范围。
意义
智能体训练成本高，如果缺乏公平的统一比较基准，很容易选错方法。这项工作表明，在引入新技术之前，应当同时考虑 GRPO 这类简单基线以及稳定性和成本。
关键术语
- Self-Distillation
- 模型将自己生成的输出，或在更好条件下的自身预测作为教师信号来训练自己的方式。
- GRPO
- 对同一提示词采样多个回答，并用组内相对奖励计算优势（Advantage）的强化学习算法。不需要单独的价值模型。
- Rollout 种子
- 评估时决定智能体运行随机性的值。使用多个种子重复评估，可以查看结果的波动。
原文
作者: Linhao Zhong, Bozhen Fang, Xuehao Wang, Duochao Shi, Zekai Luo, Guangming Yao, Yi Yuan, Hao Chen, 等 · 发布 2026-10-14 · 许可 arXiv 비독점 배포 라이선스 · 基于摘要分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。