AI 术语表 · 入门 · 语言模型
Base/Instruct 模型
Base 模型是只完成了预训练、会接着给定文字续写后续内容的模型;Instruct 模型则是在此基础上加入后训练,经过打磨以遵循指令并进行对话的模型。
工作原理
Base 模型通过海量文字学习“猜下一个 token”,具备了知识和语言能力,但收到问题时,有时不是回答,而是接着续写类似的问题。Instruct 模型是在 Base 模型上用指令-回答样本进行 SFT,再用 RLHF、DPO 等方法按偏好打磨而成的。因此,用规定的聊天模板提问,它就会像对话一样回答。如今聊天服务背后的模型大多属于 Instruct 系列。
Base 与 Instruct
Base 模型仅预训练
- 续写文字
- 有时会用问题续写问题
- 继续训练与研究的起点
Instruct 模型预训练 + 后训练
- 遵循指令并进行对话
- 按聊天模板提问
- 适合直接用于服务
공통 知识和语言能力来自预训练
从名称上区分的方法
Hugging Face 上的模型名称如果带有 Instruct、Chat、-it 之类的后缀,通常是经过打磨、能遵循指令的模型。如果没有任何后缀、只标了规模,或者标着 Base,则多半是预训练模型。不过各公司的命名惯例不同,最终还是要查看模型卡确认。是否包含聊天模板也是一条有用的线索。
注意事项
如果要直接接入服务使用,基本应选择 Instruct 模型。如果要用自己的数据从头进行大规模微调,或用于研究,也有人会选择 Base 模型。Base 模型并不是“不够聪明”,它具备能力,只是调用能力的方式不同。安全防护训练主要在后训练阶段加入,因此 Base 模型在拒绝或安全回应方面可能较弱。
示例
一位为内部聊天机器人挑选开放权重模型的开发者,在 Hugging Face 上发现了两个规模相同的仓库:一个名称末尾带有 Instruct,另一个没有。由于要直接用于对话,就选择了 Instruct 那个。另一方面,正如本站介绍过的研究所示,仅固定回答的起始 token,Base 模型的推理性能就接近了经过强化学习的模型水平,这一结果表明 Base 模型内部本就潜藏着能力。
本站出现过的地方
- 简报 研究:仅固定回答起始 token,Base 模型推理性能即接近 RL 模型水平 2026-10-06