AI 术语表 · 基础 · 语言模型
缩放定律
缩放定律是一条经验规律：AI 模型的规模（参数量）、训练数据量和训练所用计算量越大，模型性能就会以相当可预测的方式提升。
通俗解释 这类似于同时增加学习时间、教材数量和大脑容量，考试分数就会提高。不过分数提高的幅度会越来越小，只增加三者之一，效果很快就会遇到瓶颈。与人的学习不同，这条规律是基于实际测量值的观察，这一点与比喻有所不同。
工作原理
研究人员会训练多个不同规模的模型，并测量每个模型预测下一个词的准确程度（损失值）。把结果画成图，就会看到一条平滑的曲线：随着模型规模、数据和计算量增加，误差稳定下降。利用这条曲线，可以在真正训练超大模型之前，在一定程度上预估其性能。它还可用于决定在给定计算预算内如何分配模型规模和数据量。
为什么重要
训练一个大模型需要巨大的成本和时间。缩放定律为预测这类投入能带来多大性能提升提供了依据，也成为 AI 企业大规模投资 GPU 和数据中心的原因之一。当今 LLM 快速变大的趋势，也与人们对这一定律的信念密切相关。
注意事项
缩放定律不是自然法则，而是通过观察得到的趋势。规模越大，获得的收益越小，高质量训练数据短缺的问题也被提出。损失值下降也不能保证等同于人们实际感受到的能力提升。因此，近来除了扩大预训练规模外，人们对后训练、测试时计算等其他提升性能的方向也越来越关注。
示例
AI 企业发布新模型时强调使用了比以往更多的 GPU 和更多的数据进行训练，这是以缩放定律为前提的策略。企业在正式训练之前，会先用多个小模型做实验、画出曲线，再据此确定最终模型的规模和训练数据量。