← 专题深读

专题深读 · 2026-11-12 · 进阶 · 作者 bombong

长程智能体强化学习:多轮 Rollout 与信用分配

用强化学习训练一个要调用工具数十次的智能体时,最难的是决定最后那一次成功或失败应归功于哪一轮。本文梳理三类解法——分支对比、参考模型的价值估计、特权自蒸馏,以及轮次预算、工具信用、Rollout 成本等近期争议点。

目录
要点
  • 多轮智能体强化学习通常把轨迹末端的单个结果奖励平均分给所有轮次,因此失败 Rollout 中的好行为也会受到惩罚。
  • 信用分配的解法大致分为三类:从同一点分叉并比较结果(BranPO);用参考模型给出的答对可能性的变化构造逐轮奖励(TRACE);在 token 和轮次层面混入掌握特权信息的教师信号(SDAR、ADRS、AgentOPSD)。
  • 三类方法都力求不单独训练价值函数(critic)。不同之处在于,它们各自需要额外采样、标准答案标签、技能等特权信息中的哪一种。
  • 多轮强化学习的收益与其说来自单步判断的改进,不如说来自错误恢复和在长任务中坚持下去的能力;训练时给出的轮次预算一旦缩减,收益会大幅下降。
  • 最近,工具调用 token 反而获得负信用的问题,以及同时启动的任务环境带来的内存与延迟成本,成为新的课题。

为何需要:用一次结果评价数十轮的问题

LLM 智能体为了解决一个问题,会在多轮之间往返:搜索、阅读结果、再次搜索、执行代码。把整个过程跑一遍的记录称为 Rollout,其中的轮次序列称为轨迹(Trajectory)。在对这类智能体进行后训练(Post-training)时,强化学习(Reinforcement learning)已成为核心方法,但奖励通常只有一个:最终答案是否正确。SDAR(paper)指出,这种轨迹级奖励对于长交互只能提供“粗粒度监督”。

问题在于,这一个结果被平均分配给所有决策。BranPO(paper)将其描述为“单一结果被均匀分配给所有决策”。TRACE(paper)认为,当轨迹因数十到数百次工具调用而变长时,结果奖励会变得稀疏、方差增大,甚至可能产生误导。失败的 Rollout 中也有许多朝目标推进的有用行为,但只看结果的训练会给这些行为与最后的失误同样的负优势(advantage,表示比平均水平好多少的值)。

此外还叠加了 BranPO(paper)所说的“非单调正确性”。早期的错误可能在后面被纠正,看似良好的中间状态也可能因之后的错误决策而崩溃。因此,仅凭“当前状态看起来不错”这一判断,很难告诉模型在每个状态下应采取什么行动。本文的主题信用分配(credit assignment,把结果的功过分摊到各个决策上)正是为填补这一空白所做的尝试。

核心思路:不看比赛结果,而是逐个场景评价

拿足球比赛来理解会更容易。如果因为 1 比 2 输了,就把当天上场所有球员的每一次传球都评为同样糟糕,就找不到下一场要改进的地方。好教练会逐个场景回放比赛录像,像“这次传球是失球的开端”“这次防守化解了危机”这样,为每个场景分配功过。长程智能体强化学习的信用分配做的是同样的事:保留最终成功或失败这一比赛结果,同时把它转化为轮次或 token 级的细粒度信号,指出是哪些决策决定了结果。

这里要避免两件事。一是新训练一个单独预测各状态价值的价值函数(critic)模型。多训练一个模型需要成本,而且其预测一旦出错,信号就会被污染。二是像树一样大量展开分支进行搜索,或在每个步骤由人工打标签。BranPO(paper)指出,这类现有方法成本高,或会产生带噪声的信号。因此,该领域的研究大多在寻找“不额外训练模型,而是从已有的东西中提取逐场景评价的方法”。

用什么作为“已有的东西”,决定了路线的分野:在同一场景重新踢一遍比赛的方法;向知道答案的解说员询问每个场景胜算的方法;让看过战术笔记(特权信息)的教练对同一场景重新打分的方法。下一节将介绍这三种方法实际如何运作。

如何运作:多轮 Rollout 与三种信号的生成

基本循环很简单。接到任务的策略模型(训练中的 LLM)思考后调用工具,读取环境返回的观察,再选择下一个行动。这一循环结束后,整条轨迹被记录下来,并根据最终答案给出结果奖励。SDAR、AgentOPSD、TACA 等论文用作基线的 GRPO 类方法,会对同一任务运行多个 Rollout,并在组内强化相对表现更好的 Rollout。信用分配研究在这一结果奖励与策略更新之间插入了“生成逐轮信号”这一步。

第一类是分支对比。BranPO(paper)在中间某点截断轨迹并对其后部分重新采样,构造出前半段相同但结果不同的分支。由于前半段相同,结果差异可以归因于分叉之后的决策。在此基础上,它还加入了向困难位置分配更多分支的采样,以及防止重复步骤被更新的 Redundant Step Masking。

第二类是参考模型给出的价值变化。TRACE(paper)在每个工具调用边界处切分 Rollout,将其视为状态转移,并向固定的参考模型询问“基于目前状态得出正确答案的对数概率”。将其转换为状态价值后,以某个行动前后价值的变化幅度(时序差分,TD)作为该行动的奖励。它既不需要单独的 critic,也不需要训练过程标签;无意义的重复工具调用会因价值变化相互抵消而无法累积奖励。代价是必须有标准答案(gold answer)。

第三类是特权自蒸馏。附加了仅在训练时可用的特权信息(例如针对任务的技能,即流程指引)的教师分支,对不带技能生成的相同 token 重新打分,从而给出细粒度信号。SDAR(paper)、ADRS(paper)、AgentOPSD(paper)都属于这一路线,它们的共同点是 Rollout 和实际推理都不使用技能。三种方法的差异将在下一节讨论。

多轮 Rollout 与信用分配循环任务 → 策略模型; 策略模型 → 工具·环境(工具调用); 工具·环境 → 策略模型(观察); 工具·环境 → Trajectory(记录); Trajectory → 结果奖励; 结果奖励 → 生成逐轮信号(单个结果); 分支对比 → 生成逐轮信号; 参考模型价值变化 → 生成逐轮信号; 特权教师评分 → 生成逐轮信号; 生成逐轮信号 → 策略更新(逐轮信号); 策略更新 → 策略模型(更新)任务策略模型训练中的 LLM工具·环境搜索·代码执行Trajectory全部轮次记录结果奖励单个成功或失败策略更新生成逐轮信号信用分配分支对比BranPO参考模型价值变化TRACE特权教师评分SDAR·ADRS·AgentOPSD工具调用观察记录单个结果逐轮信号更新
多轮 Rollout 与信用分配循环 上方是策略模型与工具环境之间往返的多轮循环,下方是把单个结果奖励转化为逐轮信号的步骤。虚线框是生成该信号的三类方法。

发展脉络:各篇起点论文的新贡献

2026 年 2 月的两项研究正面处理了拆分结果奖励的问题。BranPO(paper)采用上文所述的对比分支,在没有价值函数的情况下构造局部对比信号,在多个 multi-hop QA(需要多步检索的问答)基准上超过了多种基线,并称没有额外训练成本。同月的 BAO(paper)关注的不是信用分配,而是“轮次之间的行为”。先向用户提问并做规划的主动型智能体,会在任务性能与用户负担(问太多问题会让人厌烦)之间形成帕累托前沿;BAO 强化信息收集行为、抑制低效或重复的交互,报告称在 UserRL 基准上同时取得了更高的性能和更少的用户投入。

同一时期,WideSeek-R1(paper)开辟了另一条轴线。它不是让单个智能体不断延长轮次的“深度扩展”,而是用多智能体强化学习训练由主智能体并行调度多个子智能体的“宽度扩展”。它共享同一个 LLM 但隔离上下文,用 2 万个广域信息搜寻任务联合优化主智能体与子智能体。据报告,4B 模型在 WideSearch 基准上取得 40.0% 的 item F1,与单智能体 DeepSeek-R1-671B 水平相当,并且随着子智能体数量增加,性能持续上升。

从 5 月起,特权自蒸馏形成了一股潮流。SDAR(paper)认为,将同策略自蒸馏(On-policy Self-Distillation,OPSD)直接搬到多轮智能体上,会随轮次累积而变得不稳定,且技能检索与使用不完善会导致教师错误拒绝。因此它以强化学习为主目标,把 OPSD 作为带 sigmoid 门控的辅助目标:对教师支持的 token 加强蒸馏,对教师拒绝的 token 则柔和地减弱。在 ALFWorld、WebShop、Search-QA 上,它分别比 GRPO 提升 +9.4%(ALFWorld)、+10.2%(WebShop 准确率)、+7.0%(Search-QA),并报告称避免了简单 GRPO+OPSD 的不稳定。8 月的 ADRS(paper)在每一轮内对教师分数做归一化,并通过 TVA 门控——考察教师的置信度与实际奖励的同步程度——使信号“仅在该偏好与结果相关时”才被使用。同月的 AgentOPSD(paper)将 token 级教师-学生对数概率差聚合为轮次级证据,每轮递归地进行贝叶斯式信念更新,并把信念变化大的轮次识别为关键轮次。它既不需要 critic 也不需要额外 Rollout,报告了 Qwen2.5-7B 在 ALFWorld 上 89.1% 的成功率。

7 月的 TRACE(paper)是用参考模型价值的 TD 变化构造逐轮奖励的方法。报告称,它不借助 SFT 冷启动、智能体专用的中期训练或实时网页数据,仅靠纯强化学习就将 BrowseComp-Plus 分数在 Qwen3-4B 上从 7.2 提升到 35.6,在 Qwen3-30B-A3B 上从 8.4 提升到 42.6。

TRACE训练前后的BrowseComp-Plus得分

训练前TRACE训练后

Qwen3-4B+28.4分
Qwen3-30B-A3B+34.2分
数据来自TRACE论文,按模型比较仅用纯强化学习训练前后的结果。

三类方法对比:各自做了什么取舍

三种方法的共同点是都不单独训练 critic。但细粒度信号无法白白得到,各自付出了不同的代价。分支对比(BranPO)需要在中间点重新采样,因此 Rollout 数量会增加。为此它加入了只向困难位置集中分配分支、屏蔽重复步骤的机制来兼顾效率。其优点是无需标准答案标签或特权信息,仅凭结果奖励即可运行。

TRACE(paper)式的价值变化无需额外 Rollout,只需计算固定参考模型的对数概率。代价是必须有标准答案字符串,且信号质量取决于参考模型能多好地读出“离答案更近了”。它适合搜索这类答案明确的任务,难以直接用于答案不唯一的任务。

特权自蒸馏的优势在于复用同一策略模型作为教师,因此不需要新增模型,也不需要额外 Rollout。代价是需要准备针对任务的技能等特权信息,而且正如 SDAR(paper)所指出,若技能检索或使用出错,教师可能做出离谱的拒绝。SDAR 的非对称门控、ADRS(paper)的奖励关联门控、AgentOPSD(paper)的轮次级信念更新,都可以理解为调节“该在多大程度上信任这一教师信号”的机制。

奖励分配三种路线的取舍

分支比较BranPO

  • 仅依靠结果奖励即可运行
  • 需要从中间重新采样
  • 将分支集中在困难节点

价值变化TRACE

  • 无需额外Rollout
  • 需要标准答案字符串
  • 重复的工具调用会相互抵消

特权自蒸馏SDAR·ADRS·AgentOPSD

  • 复用同一模型作为教师模型
  • 需要为每个任务准备技能
  • 关键在于教师模型可信度门控

공통 将单一结果奖励转化为轮次·token级信号的方法

三种方法都不单独训练critic,但额外需要的条件各不相同。

近期走向:轮次预算、工具信用、Rollout 成本

2026 年 11 月的研究从“性能提升了”退后一步,追问提升的是什么、为何提升。多轮强化学习效果分析(paper)用同时考虑采样宽度 K 与交互深度 T 的 Pass@(K,T) 进行评估。结果显示,轨迹级强化学习的优势只在轮次预算充足时才明显,预算收紧后则大幅缩小。此外,智能体强化学习并未普遍提升单步决策的质量,其优势集中在错误恢复和在长任务中坚持下去的能力上。作者提出在训练中改变交互预算的 BudgetMix RL 作为替代方案,并报告称在多种执行环境中获得了稳定的性能。

TACA(paper)深入研究了训练过程中推理性能和工具调用能力反而下降的现象。它认为原因是三点相互交织:错误轨迹每轮使用更多工具 token 时,工具整体的信用会变为负值;token 平均聚合会给变长的错误轨迹更大的权重;执行出错后再次调用工具的重试会拉长轨迹,使恢复尝试也获得负信用。TACA 为此加入了三项机制:Advantage Projection,在提示组内以最小幅度、均匀地调整,使工具调用 token 的平均优势不为负;Decision Contrast,比较同一问题下使用工具作答与直接作答的情况;Supervised Replay,重新学习过去答对轨迹中的调用。

系统层面的成本也成为课题。BunshinRL(paper)注意到,智能体 Rollout 在持久化的工作空间中穿插执行工具调用,因此同时启动的环境内存会增大,一次缓慢的工具调用就会拖慢整个批次。它在实时完整复制容器工作空间的 BunshinFork 之上,叠加了环境间内存共享、工具前缀缓存和推测式工具执行,报告称峰值内存最多降低 43%,总内存使用最多降低 51%,端到端 Rollout 延迟降低 23%。越是像分支对比这样需要运行更多 Rollout 的方法,从这类系统改进中获得的收益可能就越大。

长程智能体 RL 研究图谱 同一列是按相同关注点归类的研究。图中未绘制箭头,分组并不表示继承关系,而是表示所处理的问题相近。

局限与争议:实际应用中需考虑的问题

首先要注意的是评估条件。正如多轮强化学习效果分析(paper)所示,在轮次预算宽裕的基准上取得的收益,在预算紧张的实际部署中可能大幅缩水。应先核对训练和评估中最大轮次数设为多少,以及部署环境的轮次与时间限制是多少。该研究还在初步讨论层面指出,过程监督信号虽有帮助但也有局限,因此最好不要期望细粒度信号能直接解决这一问题。

第二,确认自己的任务是否具备信用分配方法所需的材料。没有标准答案字符串,TRACE(paper)式价值估计就难以实施;没有针对任务的技能文档,特权自蒸馏的教师就会变弱。正如 SDAR(paper)所报告,简单地把强化学习与 OPSD 合并反而可能变得不稳定,因此应优先考虑将教师信号作为辅助目标、并用门控调节其强度的设计。

第三,常见错误是用 token 平均来聚合损失,却不关注工具调用的信用走势。正如 TACA(paper)所揭示,若冗长且错误的轨迹主导更新,模型可能学会回避使用工具。在学习曲线上不能只看准确率,还要同时记录工具调用频率和工具 token 的平均优势,才能及早发现这种退化。如果是与用户对话的智能体,则应像 BAO(paper)那样,把提问次数等用户负担也纳入奖励或评估,才能避免出现只会“一味提问”的智能体。

第四是成本。为每个 Rollout 启动沙箱(Sandbox)环境的智能体训练,瓶颈往往不是模型计算,而是环境内存和缓慢的工具。BunshinRL(paper)的数据是在该系统上测得的结果,与其直接套用,不如先测量自己的环境中是什么在拖住批次。WideSeek-R1(paper)式通过并行子智能体扩展宽度的做法,也会放大同样的成本问题。

长程智能体RL检查清单

设计前

  • 训练、评估、部署的轮次预算是否一致
  • 是否有标准答案字符串或技能文档
  • 是否将用户负担纳入奖励和评估

训练中

  • 工具调用频率是否在下降
  • 工具token的平均优势是否为负
  • 又长又错的轨迹是否主导了更新
  • 是否将教师模型信号作为辅助目标进行门控

成本

  • 环境内存和慢速工具是否成为瓶颈
  • 成本是否随并行子智能体数量相应增加
开始训练前和训练过程中需要确认的事项。

延伸学习

如果想先把握问题定义,可以先读 TRACE(paper)和 BranPO(paper)中提出问题的部分。失败 Rollout 中的好行为为何会受到惩罚,以及什么是非单调正确性,是整个领域的出发点。接着把两篇论文的解法并列,比较“用价值变化来评价”和“分叉后进行比较”各自做了什么取舍。

特权自蒸馏这条线,按 SDAR(paper)→ ADRS(paper)→ AgentOPSD(paper)的顺序阅读,可以看到调节“该在多大程度上信任”教师信号的机制,如何从 token 门控逐步完善为奖励关联门控,再到轮次级信念更新。如果考虑实际应用,强烈建议一并阅读多轮强化学习效果分析(paper)和 TACA(paper)。它们说明了前述研究报告的性能提升在什么条件下可信。

如果想更广泛地了解智能体的行为与结构,可依次阅读讨论用户负担的 BAO(paper)、用并行子智能体扩展宽度的 WideSeek-R1(paper),以及讨论训练基础设施成本的 BunshinRL(paper)。

相关术语

强化学习 RLVR Distillation 工具使用 AI 智能体 多智能体 沙箱 奖励黑客

参考资料

奠基论文

最新研究

由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。