AI 术语表 · 进阶 · 数据与评测
数据污染
数据污染是指用于评估 AI 模型的试题（基准测试）混入了模型的训练数据，导致分数高于模型真实能力的现象。
通俗解释 这就像考试前把历年真题和答案整套背下来的学生拿了高分。分数虽高，却无法知道他们是否有能力解答没见过的题。
工作原理
LLM 使用从互联网收集的海量文本进行预训练。然而，基准测试的题目和答案也常常通过论文、GitHub、博客等公开在网上。收集训练数据时如果把这些内容一起收进来，模型就相当于提前看过了试题。这样一来，模型可能不是靠解题而是靠记忆答对。大多数情况下，即使开发者并未有意加入，由于数据量太大，这些内容也会在不知不觉中混进去。
为什么重要
基准测试分数是比较哪个模型更强的主要依据。存在数据污染时，这些分数就不再可信，模型在实际服务中的表现也可能达不到预期。研究人员还可能误判新方法的效果。因此，模型发布时是否检查过污染，正日益成为重要的可信度标准。
注意事项
完全防止污染很难。常用的方法是在训练数据中找出与基准测试语句重叠的部分并删除，但稍作改写或经过翻译的形式很容易漏掉。因此，人们还会结合使用题目不公开的基准测试、用模型训练之后新出的题目进行评估、改变题目中的数字或表述后让模型重新作答等方法。如果原题与稍作改动的题目之间分数差距很大，就可以怀疑存在污染。
示例
当一个新 LLM 被宣布在知名数学基准测试上取得高分时，研究人员常常会把同类题目只改动数字和措辞，再让它重新作答。如果改动后的题目分数大幅下降，就会怀疑它可能背下了原题，即存在数据污染。因此，许多 AI 公司和研究团队在发布模型时会一并公开污染检查结果，或者给出用未公开题目单独评估的分数。