哪个 Rollout 教会了这种行为？检验在线强化学习中训练数据归因局限性的 BehaviorTrace

问题

强化学习微调可能教会模型非预期的行为。要找出造成该行为的训练 Rollout，通常使用 Influence function、TracIn、TRAK 等基于梯度的归因方法。但这些方法主要在静态的监督学习环境中得到验证，它们在在线强化学习中能否真正找出行为的成因，几乎没有经过检验。

方法

对 Qwen2.5-1.5B-Instruct 进行简短的 SFT 预热后，用 GRPO 训练 1,000 步。期间仅在训练初期，对在 'frobnitz' 提示词下输出 'QZXBT' 的情况给予额外奖励，以此植入成因已知的行为。用 CountSketch 将完整梯度压缩到 65,536 维，确保与该行为相关的参数不被遗漏，并评估 GAS（重新归一化的 TracInCP）、TRAK 式估计器、TracInCP 等现有估计器。对照组包括不含行为目标、只看梯度大小的 norm-only，流畅度（平均 token 对数概率）基线，以及 3 个种子和多次生成 Draw 之间的波动。论文不提出新的估计器，而是公开评估 harness 和检查清单。

结果

• 在步级精度上，不含行为目标的 norm-only 对照组为 0.422/0.396/0.385（种子 0/1/2），与最好的目标估计器（GAS 0.404/0.383/0.421）相近，并在其中 2 个种子上更高。作者报告称，这一结果相当于随机水平的 4.2~4.5 倍。
• 若将范围缩小到发生学习的区间内，包括 random 在内的所有方法都与各种子的随机水平相差约 0.03 以内。按步级可达到的余量也只有约 0.11。作者将其解释为：步级归因只能找出“哪些步发生了学习”，而无法找出“是哪个 Rollout”。
• 在种子 2 的预注册 Draw（882 对）中，组内 AUC 依次为流畅度基线 0.724、norm-only 0.721、GAS 0.669。在已饱和的检查点上，流畅度的预测能力与所有梯度方法相当或更好。
• 控制流畅度后，GAS 的方向 AUC 为 0.486/0.624/0.629（种子 0/1/2），各种子之间不一致。在种子 1 检查点上新生成的 Draw 为 0.526，判定结果出现反转，仅凭一次运行无法得出结论。
• 在 token 级别，由实际回答上下文构造的目标与触发 token 梯度的余弦相似度在三个种子上均为正（+0.114~+0.295）。相比之下，人工构造的连续目标接近 0 或为负（种子 2 为 −0.111）。

局限

模型只有 Qwen2.5-1.5B 一个，种子为 3 个，植入的行为也仅限于一个单 token 触发器。该行为并非单靠强化学习产生，而是由 SFT 预热先植入关联，再由强化学习放大。去掉正确 Rollout 后重新训练的因果验证并非在本实验中进行，而是在污染贯穿整个训练过程的类似设定中完成。Rollout 级分析使用的不是原始训练 Rollout，而是从保存的检查点新生成的样本。流畅度匹配对达到 100 对以上的只有种子 2。

意义

对于想追溯强化学习中出现的非预期行为由哪些数据导致的从业者，本研究提醒：现有归因方法给出的“看似合理”的结果，可能来自梯度大小或流畅度等混杂因素。论文提供了包括梯度大小对照组、流畅度控制、多种子与多次 Draw 重复在内的验证检查清单以及公开的 harness，并指出 token 级归因是更有前景的方向。

关键术语

训练数据归因（Training-Data Attribution）

估计模型的某个输出或行为是由哪些训练样本导致的方法。代表性方法有比较训练样本与目标行为梯度相似度的 TracIn、TRAK 等。

GRPO

对同一提示词生成多个回答（一组），用组内奖励的均值和标准差归一化得到 Advantage，再据此更新策略的强化学习方法。如果组内奖励没有差异，就不会对更新产生贡献。

Norm-only 对照组

不使用行为目标、仅按梯度大小对样本排序的基线。如果该对照组与基于目标的估计器性能相近，那么估计器的性能很可能来自梯度大小，而非行为方向。

CountSketch

通过哈希把高维向量的每个坐标分配到某个桶并赋予符号后累加，从而实现压缩的方法。它近似保留内积，并且覆盖所有参数，因此即使信号只存在于部分参数中也不会遗漏。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• Hugging Face

作者: Amit Nautiyal · 发布 2026-10-07 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。