后训练
后训练是把完成预训练的模型打磨得更便于人使用的阶段。它会额外教模型遵循指令、进行对话、安全作答以及推理等。
通俗解释 这类似于一个读了很多书、知识丰富但还不会做事的新员工，通过业务手册和反馈学习“如何把工作做好”的培训过程。
工作原理
通常要经过多个阶段。首先通过 SFT（监督微调）向模型展示问题与示范答案配对的数据，让它照着学。接着像 RLHF 或 DPO 那样，以人类选出的更好回答为标准，调整模型的回答倾向。最近，在数学题或代码这类能自动核对正确答案的任务上给予奖励的 RLVR 等强化学习也用得很多。
为什么重要
只完成预训练的模型虽然掌握大量知识，但可能会答非所问地续写，或者对危险请求也照样作答。经过后训练，它才能成为对话助手、编程智能体、推理模型这类真正可用的产品。后训练的成本低于预训练，因此即使使用同一个基座模型，只要改变后训练方式，也能做出特点不同的模型。所以在当下的模型竞争中，后训练所占的比重越来越大。
注意事项
后训练更侧重于激发模型已有的能力、改变其行为方式，而不是注入大量新知识。如果奖励设计不当，可能出现模型学会只钻奖励空子的奖励破解（reward hacking），或迎合用户的谄媚等问题。让模型遵守安全规则的对齐工作也主要在这一阶段进行。
示例
即使是同一个基座模型，也会因后训练方式不同，分化为通用聊天模型、先长时间思考再作答的推理模型，以及用于修改代码的编程智能体模型。AI 公司常常发布“通过改进后训练，让模型更好地遵循指令”，原因也在于此。