Agent-Reflex：训练语言智能体在反思中行动

问题

在真实部署环境中，MCP 工具会返回超时或服务错误，用户也会在执行过程中介入以纠正智能体。然而，现有的智能体训练环境假设反馈是干净的、用户介入极少。因此，缺乏用于训练检测失败并从中恢复的反思能力的监督信号。

方法

由 3 个阶段组成。(1) RSD：构建 557 个基于 MCP 的执行环境。将从真实基准中收集的 24,510 条错误返回归纳为 8 种失败类型，并以概率方式注入工具响应。比较 9 个不同 LLM 的成功·失败轨迹对，提取 1,170 个环境特定的反思元技能。(2) ReSFT：利用技能构建三类数据：从出错点重新执行的 Self-Reflection、从头重新开始的 Skill Recovery，以及加入用户纠正消息的 User-Centric Reflection。只保留通过验证的样本，去除技能提示词后进行 SFT。(3) ORPO：在混合了干净 rollout 与噪声 rollout 的组上进行基于可验证奖励的强化学习。对同一 token 分别在有和没有技能上下文的情况下重新打分，并将差值作为置信度加权的在策略蒸馏（On-policy Distillation）信号加入，提供 token 级的密集监督。

结果

• 作者报告称，基于 Qwen3-8B，在 5 个长程工具使用基准上综合得分 58.6
• 作者报告称，在 AgentNoiseBench 上得分 29.1，高于环境扩展类和反思类基线
• 作者报告称，对噪声的鲁棒性有所提高，训练过程也保持稳定

局限

模型实验集中在 Qwen3-8B 一个模型上。噪声采用归纳为 8 种失败类型的结构化注入方式，并不能代表真实部署环境中的所有失败。用户纠正由模拟器生成。所提供的正文在中途被截断，因此未能确认各基线的详细数值和消融实验。

意义

在实际服务中，智能体失败的主要原因是不稳定的工具响应和用户介入。本论文提出了一条从真实错误日志出发、将恢复行为转化为训练数据的流水线。

关键术语

反思元技能

比较同一任务的成功与失败轨迹后提取的环境特定恢复规则，形式为“遇到这种错误模式就这样修正”。可在同一环境的其他任务中复用。

On-policy Distillation

在当前策略自身生成的 rollout 上，训练模型跟随掌握更多信息的教师模型（这里是附加了技能上下文的同一模型）的逐 token 概率的方法。

噪声注入（Noise injection）

在训练中以概率方式将部分工具响应替换为实际观测到的错误消息，使智能体学会检测失败并从中恢复的技术。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• Hugging Face

作者: Guanting Dong, Xinyu Yang, Jiajie Jin, Yuyang Hu, Xiaoshuai Song, Yifei Chen, Xiaoxi Li, Jiejun Tan, 等 · 发布 2026-10-13 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。