AI 术语表 · 入门 · MLOps 与 LLMOps · 数据与评测
A/B 测试
A/B 测试是一种实验方法：将用户随机分成两组，一组看到现有版本（A），另一组看到新版本（B），然后用真实数据比较哪一组的结果更好。
关于这个术语
- 难度
- 入门 · 写给初次接触者的核心概念
- 分类
- 基础概念
- 加入时间
- 2026-10-08
通俗解释 这就像一家面包店把顾客随机分成两半，分别提供不同配方的面包，再统计哪一边的顾客回来复购得更多。不过，在实际的 A/B 测试中，还会再用统计方法判断这种差异是否出于偶然。
工作原理
首先，确定要验证的假设（例如“采用新的推荐方式后点击会增加”）以及判断成功与否的指标。接着，将用户随机分为 A 组和 B 组，使两组除了版本不同之外尽可能相似。然后在足够长的时间内收集各组的指标（点击率、购买率、满意度等）。最后，从统计上检验两组之间的差异是否处于可能偶然产生的水平，从而判断它是否属于“有意义的差异”。
A/B 测试的步骤
- 1确定假设和指标什么会变好，用什么衡量
- 2随机分组让 A 组和 B 组相似
- 3收集数据持续足够长的时间
- 4用统计判断确认是否为偶然差异
为什么重要
它让人们能够依据真实用户的反应来做决定，而不是依靠会议室里的直觉或嗓门最大的人的意见。在 AI 服务中，它常用于确认新的模型版本、修改后的提示词或不同的推荐算法是否真的更好。即使在预先准备的测试题（离线评估）上得分很高，对真实用户来说效果也可能更差，因此它作为上线前后的最后一道确认步骤十分重要。
注意事项
如果用户数量太少或时间太短，很容易把偶然出现的差异误认为真实效果。同时观察多个指标时，其中某个指标可能偶然显得不错，因此最好事先确定核心指标。新功能有时一开始因新鲜感而反响良好，但很快就会冷却，所以测试周期要留得充足一些。此外，由于可能给其中一组用户带来不便，有风险的变更应先从小比例开始测试。
示例
搜索、购物和视频服务在调整推荐列表顺序或页面布局时，会只向部分用户展示新版本，并比较点击和停留时长。运营生成式 AI 聊天机器人的团队也会这样使用 A/B 测试：先把新模型或修改后的系统提示词只应用于部分对话，确认回答满意度（点赞、点踩）和重复提问比例是否改善，然后再全面推广。