数据配比

数据配比是指在训练 AI 模型时，决定网页文档、代码、书籍、数学、多种语言等不同数据按什么比例混合的组合。即使数据总量相同，混合比例不同，模型的能力也会不同。

关于这个术语

通俗解释 这和制定食谱类似。同样的热量，碳水化合物、蛋白质和蔬菜的比例不同，身体状况也会不同；模型也一样，“吃”了什么、吃了多少，决定了它擅长做什么。

工作原理

首先按来源或类型将训练数据分组，例如一般网页文本、代码、学术论文、数学题、对话、其他语言文档等。然后确定训练过程中各组数据出现的频率比例。质量高但数量少的数据有时会重复多次使用，数量多但质量低的网页数据则可能被削减。也有做法是在不同训练阶段调整比例，在后期提高高质量数据的占比。

预训练需要巨大的计算成本，因此一旦确定了数据配比就很难回头。提高代码占比可能会提升编程和逻辑推理能力，但其他能力可能相对变弱，所以比例总是一种权衡。因此许多研究团队会先用小模型试验多种比例，再把效果好的组合应用到大模型上。如今模型结构已趋于相似，数据配比被视为造成模型间性能差异的关键因素。

寻找数据配比的迭代

找到合适比例

用小模型试验多种比例，根据结果再次调整，反复进行这一过程。

在小模型上表现好的比例，并不能保证在大模型上同样好。另外，如果只看基准测试分数来调整比例，模型可能只擅长特定测试。大多数企业不公开自家模型的确切数据配比，外部很难进行比较。需要结合数据过滤、去重等清洗工作一起看，才能准确判断效果。

开发开放权重 LLM 的研究团队常在技术报告中说明网页文档、代码、数学和多语言数据是按什么原则混合的。例如，强调编程能力的模型会提高代码数据占比；要打造擅长韩语等特定语言的模型时，则会有意增加该语言文档的占比。对于主打主权 AI 的各国模型来说，混入多少本国语言数据也是核心设计决策。