RLVR
RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励强化学习）是一种以可自动判断对错的标准（如核对答案或运行测试）作为奖励，对 AI 模型进行强化学习的方法。
通俗解释 这类似于用评分标准明确的数学习题集学习。只需对照答案，无需老师的主观评价就能立刻得分。不过，它也同样有这样的局限：只要答案对，即使解题过程粗糙也能得分。
工作原理
给模型出数学题或编程任务这类可以核对答案的问题，让它自行生成多个答案（Rollout）。然后由验证器把最终答案与正确答案比对，或运行测试来检验代码，正确就给高奖励，错误就给低奖励。模型随之更新，使产生高奖励答案的方式出现得更频繁。反复这一过程，模型就会自己摸索出更好的解题方法。
为什么重要
学习人类偏好的奖励模型（RLHF 方式）构建成本高，模型也容易钻奖励模型的空子。RLVR 依据规则精确评分，能减少这类问题，也更容易用大量问题进行自动训练。它在数学、编程等需要多步思考的问题上效果显著，被视为构建先通过长 CoT 思考再作答的推理模型的核心技术。
注意事项
它只能直接用于可以自动核对答案的领域，难以应用于写作、咨询等好答案标准模糊的任务。此外，如果验证器有漏洞，例如测试不完善，模型可能并未真正解决问题而只是通过测试，产生奖励黑客。如果只对最终答案评分，中间推理是否正确则无法单独保证。
示例
正如本站介绍的论文“TRACE：面向 MoE 语言模型 FP4 强化学习的基于 Rollout 的 QAT（量化感知训练）”所示，在对语言模型进行强化学习时，Rollout（模型自行生成答案的阶段）的计算成本是一大负担，因此降低这一成本的研究十分活跃。RLVR 的结构是大量生成此类 Rollout 并自动评分，因此成本问题尤为重要。在实际服务中，它被用于训练逐步解答数学题的推理模型，或编写能通过测试的代码的编程智能体。
本站出现过的地方
- 论文 TRACE：面向 MoE 语言模型 FP4 强化学习的基于 Rollout 的 QAT（量化感知训练） 2026-10-08