RLHF
RLHF（基于人类反馈的强化学习）是一种方法：收集人们对 AI 多个回答中哪个更好的判断，再通过强化学习调整模型，使其朝人们偏好的方向作答。
通俗解释 这类似于厨师根据顾客评价表改进菜谱。顾客不可能亲自品尝每一道菜，于是另设一个模仿顾客口味的“评分员”，按其打分来练习。不过，评分员无法完美复现顾客口味，这是其局限。
工作原理
首先，向完成预训练的模型展示人写的示范答案，通过 SFT（监督微调）让它掌握基本的对话方式。接着，模型针对同一问题给出多个回答，由人对哪个回答更好进行排序。用这些比较数据另外训练一个奖励模型，为“人会喜欢哪种回答”打分。最后反复进行强化学习：模型生成回答，奖励模型打分，再朝着分数更高的方向调整模型。
为什么重要
只经过预训练的语言模型只会把句子接续得像模像样，并不太懂得如何有帮助地回答问题或拒绝危险请求。RLHF 是把人对“好回答”的判断反映到模型中的方法，被视为让对话式 AI 变得实用的核心技术。ChatGPT 等对话式服务被广泛认为采用了这种方法。在让 AI 符合人类意图和价值观的对齐研究中，它也是重要的起点。
注意事项
需要收集大量人工评价，成本高、耗时长。奖励模型只是对人类判断的模仿，因此模型可能钻奖励模型的漏洞、只提高分数，产生奖励黑客。也有观点指出，如果评估者偏好自信、悦耳的回答，模型就会形成无条件附和用户的谄媚倾向。因此，不使用奖励模型、直接用偏好数据训练的 DPO，以及用可自动核对答案的问题提供奖励的 RLVR 等替代方案也被一并使用。
示例
对话式 AI 服务中回答旁的“赞/踩”按钮，或让用户在两个回答中选出更好一个的界面，与收集这类人类偏好数据的方式相似。模型开发公司用专业评估者给出的回答比较数据构建奖励模型，再借助它在后训练阶段调整模型，使其回答更有帮助、危害更小。