RLVR：用可验证奖励提升 LLM 推理能力

为什么需要它：模仿与人工打分的局限

提升 LLM 推理能力最常见的方法是 SFT（监督微调），即展示写得好的解答，让模型照着写。但根据表格推理研究 Reasoning-Table（paper），SFT 虽然取得了成果，却因模仿学习带来的偏差，在面对未见过的问题时泛化能力和鲁棒性较弱。这意味着模仿给出的解答与自己解决问题是两种不同的能力。

还有以人的判断作为奖励的 RLHF（基于人类反馈的强化学习）。不过它需要另外构建一个学习人类偏好的奖励模型，而如果这个奖励模型出错，模型就可能钻其漏洞，出现奖励破解（reward hacking）。对于数学证明或代码这类对错分明的问题，没有必要设置一个模仿人类喜好的评分者。

由此产生的想法就是 RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励强化学习）。数学题可以把最终答案与标准答案比较，代码则可以运行测试。根据 RLVR 研究（paper），随着 DeepSeek-R1 使用的 GRPO（Group Relative Policy Optimization）算法让长 CoT（Chain-of-Thought，逐步思考过程）推理成为可能，RLVR 受到了广泛关注。

核心思路：只有答案、没有解析的自学

RLVR 就像一个只拿着答案、没有解析的考生在做习题集。没有人教他解题过程。他会把同一道题做很多遍，再对照答案，下次更多地使用答对时用过的方法。如此反复，答对的解题习惯就会逐渐养成。

关键在于奖励由程序而不是人的判断给出。答案一致、单元测试通过、SQL 执行结果一致、遵守规定的输出格式等，这些可以机械检查的规则就是评分者。Reasoning-Table（paper）也报告称，仅凭“简单的基于规则的结果奖励”，就在多个基准测试（Benchmark）上超过了 SFT。

这里会产生一个疑问：如果只对最终答案打分，那些靠错误过程碰巧答对的解答不也会得到奖励吗？RLVR 研究（paper）建立了一个理论框架，解释了为什么仅根据答案是否正确给予奖励，也能鼓励正确的推理。其逻辑是：错误的过程平均而言更少得到正确答案，因此多次重复后，正确的过程会得到更多强化。

它如何运作

一个训练步骤大致按以下顺序进行。第一，选取一道带有标准答案或测试的题目。第二，当前模型（策略）针对同一道题生成多个答案，每个答案称为一个 Rollout。第三，验证器为每个 Rollout 打分，答对给 1、答错给 0 之类的奖励。第四，GRPO 把同一道题得到的答案视为一组，调整模型，让优于组平均值的答案更常出现，差于平均值的答案更少出现。这一过程不断重复。

这种方式是 On-policy 的，即用当前模型自己生成的答案来学习。正如探索研究 ASE（paper）所指出的，模型只能从自己的 Rollout 中实际出现的轨迹（解题路径）里直接获得训练信号。因此，如果组内答案全对或全错，就没有可比较的差异，几乎学不到什么。这就是题目难度重要的原因。

相对预算理论（paper）用一个值来解释这一现象。相对预算 ξ 是生成 token 预算 H 除以基础模型得到第一个正确答案所需 token 数的期望值。ξ 接近 0 时，有用的轨迹很少，所需样本数会急剧增加。ξ 处于 1 附近的平衡区间时，训练效率最高。ξ 非常大时，训练稳定，但每次迭代的收益会减少。实验中，ξ 在 1.5~2.0 时训练效率最高，推理性能也在此时达到峰值。

各种算法实际在优化什么，也得到了梳理。Davis 和 Recht 的研究（paper）表明，许多答对给 1、否则给 0 的二元奖励算法，都是在对“给出正确答案的概率”经单调变换后的值做随机梯度上升。在拒绝采样方法中，这个变换是对数；在 GRPO 中，则是平方根的反正弦。这意味着表面上不同的算法，实际上在以不同的权重追求同一个目标，即提高答对的概率。

发展脉络：已经明确了什么

第一个争议点是：RLVR 是否真的拓展了推理能力，还是只是让模型更常答对本来就能解的题？2025 年的 RLVR 研究（paper）重新审视了 Pass@K（尝试 K 次、只要答对一次即算成功的指标）实验，并新增了 CoT-Pass@K 指标，要求最终答案和中间推理步骤都正确才算成功。结果给出了依据，表明 RLVR 能在数学和编程任务中拓展推理的边界，并从训练初期起就鼓励正确的推理。

第二个趋势是应用领域的扩展。同在 2025 年，Reasoning-Table（paper）首次将强化学习应用于涵盖表格问答、事实核查和 Text-to-SQL 的表格推理。结果在表格推理基准测试上比 Claude-3.7-Sonnet 高出 4.0%，并用 7B 模型在 BIRD dev 数据集上取得了 68.3%。这说明只要答案能由机器核对，同样的框架在数学之外也同样适用。

第三个趋势是理论理解。2025 年 Davis 和 Recht 的研究（paper）揭示了每种算法优化的目标是什么。2026 年的相对预算理论（paper）用 ξ 这一个值解释了为什么 RLVR 的效果会随任务和计算预算而变化。可以说，问题已经从“试了发现有效”转向了“何时有效、为何有效”。

副作用：过度自信与多样性下降

RLVR 有两个广为人知的副作用。第一是校准（calibration）下降。校准良好的模型在有 70% 把握时，实际也大约有 70% 能答对。根据 2026 年的 DCPO 研究（paper），经过 RLVR 训练的模型对错误答案也会过度自信。以往研究直接把校准目标加到训练目标上，而这项研究从理论上证明，提高准确率的方向与降低校准误差的方向之间存在根本性的梯度冲突。因此作者提出了将推理目标与校准目标彻底分离的 DCPO，并报告称它在保持与 GRPO 相近准确率的同时，校准性能最好。

第二是解题多样性下降。TAR 研究（paper）表明，如果只用有限的 On-policy Rollout 来学习，那些语义不同但同样正确的解题方式会逐渐被压制。一旦某种解题方式被采样得足够少，常规的 RLVR 几乎无法让它恢复。TAR 把基础模型给出过的多种正确解答存入一个小型记忆库，只在这些解法正受到压制时，才挑出来重新展示给模型。在 6 个数学推理基准测试和两种规模的 Qwen2.5 模型上，它在性能与多样性之间取得的平衡优于现有方法。

Flat-RLVR（paper）把同一现象描述为“分布变得尖锐（distribution sharpening）”，即模型的输出分布过度集中于一点，导致少见但正确的轨迹消失。该研究将寻找奖励平坦区域的 SAM（sharpness-aware minimization）与 GRPO 系列方法结合，在保持单次尝试准确率的同时提高了样本多样性。两项研究都表明，提高 Pass@1 与守住 Pass@K 之间存在张力。

当前的发展方向

第一个方向是扩大探索。ASE（paper）的出发点是：从同一策略反复采样时，样本往往集中在相似的解题路径上。它对同一问题的正确答案与错误答案之间的内部激活值差异进行聚类，构建一组“探索向量”，之后在每次 Rollout 中施加不同的向量，让模型尝试不同的解题路径。在用 DAPO-Math-17k 训练的 Qwen3-1.7B-Base 和 Qwen3-8B-Base 上，6 个数学基准的平均 Mean@8 分别比相同 Rollout 预算下的 GRPO 高 4.87 个百分点和 1.87 个百分点。

第二个方向是从数学题扩展到长周期的智能体任务。这类任务很难由人逐一设计任务和验证方法。Explorer-Zero（paper）让出题模型直接探索环境来生成任务，并把中间状态和最终状态记录为验证目标，因此即使只完成一部分也能获得部分奖励。在没有人工标注训练任务的情况下，30B 智能体在 AppWorld 上的任务成功率达到 59.67%，接近用人工标注任务进行强化学习的结果（62.65%）。

第三个方向是 Off-policy 学习，即用旧模型而非当前模型生成的答案来学习。在实际训练系统中，生成答案的一方与进行学习的一方很容易出现偏差。用重要性权重来校正时，长回答的方差会变大。GGPO（paper）提出了一种不使用这一权重、而是比较同一提示下各个回答的损失函数。在训练与推理不一致的情况下以及在固定的离线数据上，它都优于 GRPO 和 AGRO。此外，定期更新参考策略很重要：不更新时，五个基准的加权平均为 32.96，采用默认更新计划时为 46.58。

局限与争议

最根本的局限正如其名：它只在“可验证”的领域发挥作用。数学、代码、表格、SQL 这类能由机器核对答案的任务很适合。但像文章的说服力或建议是否恰当这类没有唯一正确答案的任务，很难直接套用。如果验证器不够严谨，模型可能只满足格式而内容错误，钻评分的空子，这一点也始终需要审视。

关于 RLVR 是在拓展能力，还是只是更频繁地激发已有能力，争论也尚未完全结束。paper 研究给出了推理边界得到拓展的证据。而 TAR（paper）和 Flat-RLVR（paper）则表明，在一次答对的准确率上升的同时，少见但正确的解题方式可能会消失。结论可能因所看的指标（Pass@1、Pass@K、CoT-Pass@K）而不同。

从实践角度看，有两点值得记住。一是 DCPO 研究（paper）揭示的过度自信问题：经过 RLVR 的模型即使表现出自信，也很难直接相信这种自信。二是相对预算理论（paper）揭示的难度问题：如果只收集相对于模型水平和 token 预算而言过难的题目，几乎得不到学习信号。

延伸学习

如果是初次接触，建议先读 RLVR 研究（paper）。它一次性梳理了关于 RLVR 改变了什么的争论、Pass@K 与 CoT-Pass@K 的区别，以及为什么只给答案评分也能改善推理过程。接着可以读 Davis 和 Recht 的简短研究（paper），了解各种算法最终追求的是同一个目标；再通过相对预算理论（paper）把握训练在什么情况下效果好。

之后，把讨论副作用的 DCPO（paper）、TAR（paper）、Flat-RLVR（paper）放在一起读，就能看出只看准确率会遗漏什么。如果想了解如何应用到数学以外的领域，可以看表格推理方面的 Reasoning-Table（paper）。

最近的进展可以按问题选读：探索看 ASE（paper），智能体任务的奖励设计看 Explorer-Zero（paper），训练系统中出现的 Off-policy 问题看 GGPO（paper）。