← 学习笔记

学习笔记 · 2026-10-16 · 进阶

从基于人类反馈的强化学习到 DPO、GRPO：如何把偏好教给模型

只经过预训练的 LLM 只擅长“猜下一个词”，从未学过如何遵循用户意图，因此要通过 RLHF、DPO、GRPO 等后训练来教给它人类偏好或正确答案信号。本笔记梳理了从使用奖励模型和 PPO 的 RLHF，到省去强化学习阶段的 DPO，再到无需单独价值模型、在回答组内进行比较的 GRPO，各方法改变了什么以及仍存在哪些争议。

目录

• 为什么需要：模型做大了也不一定听话
• 核心思想：不让人做菜，而是让人在两盘菜中选一盘
• 如何运作：三种方式的步骤
• 发展脉络：三篇起点论文各自的新贡献
• 最新走向：智能体、安全、效率
• 局限与争议
• 延伸学习

为什么需要：模型做大了也不一定听话

LLM（大语言模型）通过阅读互联网文本学习“预测下一个 token”。InstructGPT 论文（paper）指出，这一目标与“有帮助且安全地遵循用户指令”是不同的目标，并把这种状态称为目标未对齐（misaligned）。因此，模型可能会编造事实（幻觉）、写出有偏见或有害的内容，甚至根本不遵循指令。

该论文以“单靠扩大模型规模并不能自动解决这一问题”为出发点。由人直接写出期望行为作为示范的监督学习（SFT，监督微调）也是一种方法，但要写大量优质回答示例成本很高。DPO 论文（paper）也指出，相比由专家亲自撰写示范，“两个回答哪个更好”这类相对判断更容易收集。

于是出现了 RLHF（基于人类反馈的强化学习）。它把人类挑选出的偏好转化为奖励信号，再对模型进行后训练，使其获得更多奖励。此后，围绕“如何构建奖励、如何高效优化”，这一思路延续到了 DPO 和 GRPO。

核心思想：不让人做菜，而是让人在两盘菜中选一盘

想象一场厨艺比赛就容易理解了。让评委亲手做出完美的菜很难，但让他们尝两盘菜并选出更好的一盘，很快就能完成。RLHF 先大量收集这种“选择”，再构建一个模仿选择标准的“机器评委”（奖励模型），然后让厨师（语言模型）练习从这个评委那里拿到高分。

DPO 不单独构建机器评委。正如 DPO 论文（paper）的副标题“你的语言模型其实是一个奖励模型”所说，厨师自己直接调整，“更常端出好菜，更少端出差菜”。它在数学上瞄准与原有 RLHF 相同的目标，但步骤要简单得多。

GRPO 为一位客人（问题）做出多盘菜，在这些菜之间比较得分，强化高于平均水平的那些。其核心在于：无需单独预测“这个问题原本值多少分”的模型，而是以同一组内的比较作为基线。

如何运作：三种方式的步骤

RLHF 按照 InstructGPT（paper）整理的三个阶段运作。第一，用标注员撰写的理想回答示范对 GPT-3 进行监督学习（SFT）。第二，标注员对同一提示的多个模型输出进行排序，并用这些数据训练一个预测“标注员会更喜欢哪一个”的奖励模型（RM）。第三，以该奖励模型作为奖励函数，用名为 PPO 的强化学习算法再次微调 SFT 模型。在此过程中，还会同时加入约束，防止模型偏离原模型太远。

DPO（paper）把第二和第三阶段合二为一。研究人员证明，如果用一种新的方式表示奖励模型，就可以直接以闭式解得到与之对应的最优策略（模型生成回答的方式）。因此，只要有“被偏好的回答与被拒绝的回答”配对，就能用一个二元分类损失完成训练：提高被偏好回答的相对概率，降低被拒绝回答的相对概率。训练过程中也无需从模型中采样回答。论文解释说，只使用简单的概率比会导致模型退化，而 DPO 通过为每个样本赋予不同权重来防止这一点。

GRPO（Group Relative Policy Optimization）是 DeepSeekMath（paper）提出的 PPO 变体，目标是在减少 PPO 内存占用的同时提升数学推理能力。从后续研究的描述来看，GRPO 系列方法会用同一提示生成多个 Rollout（模型实际生成的回答）组成一组，并依据组内的奖励统计判断每个回答好多少。例如，Fed-GRPO（paper）利用 GRPO 训练中自然产生的奖励统计；研究基于组的强化学习的 MCGPO（paper）和 CCPO（paper）则说明，这类训练无需单独的价值模型（critic）。

发展脉络：三篇起点论文各自的新贡献

InstructGPT（paper，2022）把 RLHF 应用于广泛的指令遵循任务并证明了其效果。研究招募了 40 名合同标注员来构建数据；在人工评估中，1.3B 参数的 InstructGPT 的输出比大 100 多倍的 175B GPT-3 更受偏好。175B InstructGPT 相对于 175B GPT-3 的受偏好比例为 85±3%，编造输入中没有的内容的比例从 GPT-3 的 41% 降至 21%。

DPO（paper，2023）针对的是 RLHF“复杂且常常不稳定的流程”这一问题。它消除了需要训练多个语言模型、并在训练循环中持续采样的负担，在不使用强化学习的情况下优化同一目标。在最大 6B 参数模型的实验中，生成文本的情感控制超过了基于 PPO 的 RLHF；在摘要和单轮对话中，回答质量与之相当或更好。

DeepSeekMath（paper，2024）的方向略有不同。它的目标是数学推理能力而非人类偏好：先用 120B 个数学相关 token 对 7B 模型进行继续预训练，再用 GRPO 进行强化学习。这个 7B 模型在不借助外部工具或投票的情况下，在竞赛级 MATH 基准上取得了 51.7%。如果说 RLHF 以“人类的比较”作为奖励，那么 GRPO 则让 PPO 系列方法更加轻量，为将其用于推理训练开辟了道路。在后续研究中，这一脉络常与使用正确与否等可验证奖励的 RLVR（基于可验证奖励的强化学习）一同被提及。

最新走向：智能体、安全、效率

第一个方向是长任务智能体的功劳分配。GRPO 系列方法往往只把最终结果（成功或失败）作为奖励，因此很难分辨几十个步骤中哪个行动做得好。CCPO（paper）在其他轨迹（行为记录）中寻找出现相同观察的步骤进行比较，且上下文越相似权重越高。它还同时考察“该步骤实际带来了多少进展”，以过滤掉成功轨迹中的冗余行动。该方法在 Qwen2.5-Instruct 1.5B 和 7B 模型上把 ALFWorld 成功率最高提升到 97.4%，WebShop 提升到 79.4%，分别比 GRPO 最多高出 21.6 分和 18.5 分。

第二个方向是偏好数据的安全。随着 DPO 的广泛使用，偏好数据本身成了攻击目标。DPOison-VL（paper）提出了一种攻击：在用 DPO 训练 VLM（视觉语言模型）时，保持提示、回答和偏好标注不变，只在部分训练图像中加入难以察觉的扰动。仅污染 2% 的训练数据，攻击成功率最高就能达到 98%。这警示我们，人工审核也无法过滤的数据投毒可能会悄无声息地改变对齐结果。

第三个方向是更密集的信号与效率。FSPO（paper）认为，仅靠 RLVR 的单个结果得分只能对整个回答进行粗粒度的训练，因此把过去的下一个 token 分布保存为固定目标，在 token 级别提供更密集的学习信号。这种方式无需持续维护单独的 Teacher 模型；在 5 小时的训练预算内，平均比最强基线高约 4 个百分点，并在 Olmo3-7B-Instruct 上把峰值内存从约 70GB 降至 56GB。

近期研究中值得关注的数据

最多 21.6 分CCPO，在 ALFWorld 上相对 GRPO

2% → 98%DPOison-VL，污染比例与攻击成功率

70GB → 56GBFSPO，峰值内存降低

局限与争议

最根本的争议是“这是谁的偏好”。InstructGPT（paper）自己就说明，这种方法让模型对齐的并不是广义的“人类价值”，而是特定群体（主要是标注员和研究人员）所表达的偏好。同一论文中，有害输出虽然减少了，但在衡量偏见的 Winogender 和 CrowS-Pairs 上没有明显改善，而且在 RLHF 过程中还观察到 SQuAD、DROP 等公开 NLP 数据集上的性能下降。研究人员报告称，通过混入预训练数据的变体（PPO-ptx）减轻了这种下降。

第二是奖励的质量。RLHF 最大化的是学习得到的奖励模型，因此如果奖励模型没能准确模仿人类的真实判断，模型就可能钻其漏洞（奖励黑客）。防止模型偏离原模型太远的约束就是应对这一问题的机制之一。DPO 虽然不设单独的奖励模型，但直接依赖偏好数据本身。正如 DPOison-VL（paper）所示，一旦这些数据被污染，对齐方向就会改变。

第三是结果奖励的粗粒度。像 GRPO 这样只看最终答案是否正确的方式，无法告诉模型在长任务中是哪个步骤做出了贡献。这正是 CCPO（paper）和 FSPO（paper）出现的原因。此外，实验数据大多来自特定基准和特定规模的模型，不能直接当作实际服务中的性能。无论采用哪种方法，评估最终行为并承担责任的工作仍然落在人身上。

延伸学习

先阅读 InstructGPT（paper）的图 2（SFT、奖励模型、PPO 三个阶段）和第 1 章引言，就能把握 RLHF 的整体框架。在结果总结部分比较真实性、有害性和偏见各自如何变化，就能看出“对齐能改变什么、不能改变什么”。

接着阅读 DPO（paper）的图 1 和引言。这张图把 RLHF 流程与 DPO 流程并排画出，去掉了什么一目了然。如果觉得公式吃力，只抓住“提高被偏好回答的相对概率”这一直觉也可以。

然后在 DeepSeekMath（paper）中了解 GRPO 出现的背景（数学推理、降低 PPO 内存占用）。至于近期动向，建议接着阅读探讨 GRPO 在智能体训练中局限性的 CCPO（paper），以及关注偏好数据安全的 DPOison-VL（paper）。

相关术语

RLHF DPO SFT RLVR 奖励黑客 后训练 对齐 数据投毒

参考资料

奠基论文

• Training language models to follow instructions with human feedback (2022)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model (2023)
• DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (2024)

最新研究

• Contextual Credit Policy Optimization (2026)
• DPOison-VL: Clean Preference Poisoning in Vision-Language Direct Preference Optimization (2026)
• Function-Space Temporal Self-Distillation for Policy Optimization (2026)
• Fed-GRPO: Reward-Signal-Driven Federated Group Relative Policy Optimization (2026)
• Matched-Context Group Policy Optimization for LLM Agent Training (2026)

由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。