AI 术语表 · 入门 · 强化学习
强化学习
强化学习是一种学习方式：AI 不是预先学习正确答案，而是自己尝试行动，并根据结果获得的奖励（分数）逐步找到更好的行动。
通俗解释 这类似于教小狗“坐下”时不解释正确答案，而是反复做到坐下就给零食、没坐下就不给。不过，AI 需要仅凭零食这样简单的信号学会非常长的行动序列，因此需要比现实训练多得多的试错。
工作原理
进行学习的一方称为智能体，智能体所面对的世界称为环境。智能体观察当前状态并选择行动，环境则返回因此改变的状态和奖励。智能体更新自己的行动规则（策略），让奖励高的行动做得更多、奖励低的行动做得更少。通过无数次重复这个循环，它逐渐学会获得更高奖励的方法。一次尝试中产生的状态、行动、奖励记录称为 Trajectory，模型自己生成这类尝试的过程称为 Rollout。
为什么重要
即使在难以逐一制作正确答案数据的问题上，只要能确定“什么是好结果”，就可以进行学习。它长期用于游戏、机器人控制等需要经过多个步骤的问题。最近它广泛用于 LLM 的后训练，在让模型给出人类偏好的回答（RLHF）以及更好地解决数学和编程问题（RLVR）方面发挥核心作用。它也是提升推理模型和 AI 智能体能力的主要手段。
注意事项
奖励如何设计会极大地影响结果。如果奖励标准有漏洞，就可能发生奖励破解（reward hacking），即 AI 不去实现真正的目标，而是钻空子只提高分数。此外，由于需要自己生成大量尝试，计算成本很高，训练也容易不稳定。因此在实践中，常常先通过监督学习（SFT）打好基础，再加上强化学习。
示例
本站介绍的 Microsoft Research 的“Agent Lightning v1.0”是一个轻量级框架，可以在不大幅修改已有 AI 智能体的情况下直接对其进行强化学习。这是以智能体执行实际任务的记录作为学习信号，借助强化学习让它把任务完成得更好的例子。此外，强化学习还用于改进聊天机器人，使其给出更有帮助的回答，以及训练编程智能体写出能通过测试的代码。
本站出现过的地方
- 论文 TRACE：面向 MoE 语言模型 FP4 强化学习的基于 Rollout 的 QAT（量化感知训练） 2026-10-08
- 简报 Microsoft Research 发布可直接对现有智能体进行强化学习的轻量级框架“Agent Lightning v1.0” 2026-10-07
- 论文 Kandinsky 6.0 Video：同步生成视频与音频的基础模型 2026-10-07