AI 术语表 · 基础 · 安全与对齐
对齐
对齐（AI alignment）是指让 AI 按照人们真正想要的目标和价值观行事。其核心是让 AI 既能做好被要求的事，又不做有害或欺骗性的行为。
工作原理
只完成预训练的语言模型只会模仿互联网上的文字，提供帮助或安全回答的倾向较弱。因此，在后训练阶段，会用展示优质回答示例的 SFT、以人类偏好打分作为奖励的 RLHF、直接学习偏好数据的 DPO 等方法来打磨模型的行为。也有方法是给出一份原则清单，让模型自行修改回答。训练完成后，红队会故意抛出危险请求来寻找漏洞。
为什么重要
AI 越强大，微小的偏差也可能造成巨大损害。为了讨好用户而附和错误说法的谄媚、为了得分而钻规则漏洞的奖励破解，都是对齐不足的典型例子。随着 AI 智能体这类能自行执行多个步骤的系统增多，让它们在人无法逐一检查的情况下也按预期行事变得更加重要。
注意事项
“人们想要的东西”因人、因文化而异，所以光是决定以什么为准就是一个难题。即使表面上看起来对齐得很好，也可能只在特定情况下出现偏差，因此研究者也在同步开展深入观察模型内部的可解释性研究。另外，英文“alignment”在 AI 研究中还有别的含义。把不同分词器的 token 相互对照、配对也叫 Alignment，这是与 AI 安全中的对齐无关的另一个技术术语。
示例
在聊天机器人服务中，拒绝制造炸弹方法之类的危险请求、不知道就说不知道、不无条件附和用户的错误主张，这些工作都属于对齐。主要 AI 公司在发布新模型时，常会一并公布此类安全性评估结果。顺带一提，本网站资讯《重新审视不同分词器模型之间的 On-policy Distillation：监督信号的可靠性比 Alignment 范围更重要》中出现的 Alignment，指的是 token 之间相互配对的技术含义，与本条目中的对齐不同。
本站出现过的地方
- 论文 重新审视不同分词器模型之间的 On-policy Distillation：监督信号的可靠性比 Alignment 范围更重要 2026-10-08
- 论文 DuoMatching：面向少步视频生成的联合分布与边缘分布同时匹配 2026-10-08