课程学习
课程学习是一种训练方法：不以任意顺序向 AI 模型提供训练数据，而是按照从易到难的顺序来教。
通俗解释 这就像学校课程先教小学生加法，再依次过渡到乘法、方程。不过，对模型来说什么“简单”，可能与人眼中看起来简单的东西不同。
工作原理
首先给每条数据评定难度。可以使用句子长度、解题步骤数等人为设定的标准，也可以根据模型在该数据上的出错程度来确定。训练初期主要提供简单数据，随着训练推进逐步提高困难数据的比重。有的方式预先定好顺序，也有的方式根据模型当前水平随时挑选下一道题。
随训练推进而变化的难度
← 训练初期 · 简单数据训练后期 · 困难数据 →
123
- 简短、简单的示例
- 简单与困难混合
- 多步推理问题
为什么重要
如果一开始就给出大量困难数据，模型可能摸不着头绪，导致训练变慢或不稳定。先用简单数据打好基础，有时能让水平提升得更快、更稳定。近来，在 LLM 预训练末期集中投入高质量数据，或在强化学习中挑选模型似乎能解出又不一定能解出的题目，这一思路再度受到关注。
注意事项
它并非总是有效。很多结果显示它与随机打乱数据的普通方式差别不大，因此需要根据具体问题和模型通过实验确认。难度评定不当反而可能导致性能下降。此外，长时间只提供简单数据可能让模型偏向这一侧，因此需要妥善调整比重。
示例
在用强化学习训练数学、编程题的推理模型时，模型总能答对的简单题或从未答对过的难题都提供不了多少可学的东西。因此会挑选以当前水平偶尔能答对的题目，随着水平提升再换成更难的题目。这是课程学习的典型应用。