以数据为中心的 AI：通过清洗、去重和合成数据提升模型

为什么需要：只靠大量收集还不够

LLM（大语言模型）用从互联网抓取的海量文本进行预训练。数据从数 GB 增长到 TB 级别后，人工逐一审查变得不可能，质量也随之下降。同样的广告语重复数万次，菜单、按钮文字之类的冗余内容（boilerplate）和无意义的字符串也混了进来。

去重研究（paper）用数字展示了这个问题。在常用数据集 C4 中，一条 61 个单词的英文句子重复了 6 万多次；用这类数据训练的模型在没有任何指令时生成的文本中，有超过 1% 是原样照搬训练数据。研究人员考察的四个数据集都存在重复，标准数据集验证集中超过 4% 与训练集重叠。

训练数据与评估数据重叠，模型就会显得比实际更聪明。同一研究（paper）指出，这种重叠会让研究人员高估模型准确率，并促使他们选择对训练数据过拟合（靠记忆答对）的模型和设置。这就是“数据污染”问题。数据如此，无论模型结构打磨得多好，结果都难以信赖。

核心思路：先处理食材，再谈烹饪

以数据为中心的 AI 是一种保持模型结构和训练算法不变、通过改变“喂什么”来提升性能的方法。用烹饪打比方，就是在改菜谱之前先洗净食材、挑出变质的、相同食材太多就减掉一些、缺的食材另外去买。

这种处理大致分三类。第一是清洗与过滤，去掉语言不符或质量低的文本。第二是去重，删除完全相同或几乎相同的文本。第三是合成数据，用其他模型新造缺少的那类数据。此外还有决定“用其中哪些数据、用多少”的数据筛选。

用实验巩固这一思路的代表案例是 DataComp（paper）。这个基准将模型训练代码固定为标准，只让参与者改变过滤数据的方法。其设计目的是公平地比较“只改数据，结果也会不同”。

如何运作：数据清洗流水线

将网络数据制作成训练数据的过程通常按以下顺序进行。首先从 Common Crawl 这样的公开网络快照中收集文本。据 FineWeb（paper）介绍，Common Crawl 自 2007 年起持续收集网页，许多 LLM 预训练数据集都以此为起点。

接下来是基于规则的过滤器。用语言识别器只保留目标语言，丢弃不以句号结尾的行、过短的行或包含禁用词的页面等。FineWeb（paper）从以往研究使用的 50 多个候选过滤器中，只挑选了真正有效的几个。

第三步是去重。去重研究（paper）提出了两种工具。一种是找出完全相同字符串重复部分的精确匹配方法，另一种是基于哈希（把长文本变成短指纹的技术）的 MinHash，这是一种找出词组大量重叠的“几乎相同”文档对的近似方法。按行删除还是按段落或文档删除，只删完全相同的还是连相似的也删，都是设计选择。

第四步是质量评分。给剩下的每篇文本打分，只保留高分的。评分可以使用困惑度（小模型对这段文本感到多么出乎意料）或判断“是否为教育性文本”的分类器。必要时再补充合成数据。最后用这些数据训练小模型并在基准上评估，根据结果重新调整过滤标准。FineWeb（paper）在选择过滤器和去重方法时使用的，正是这种实际训练模型进行比较的实验（ablation）。

发展脉络：各项起点研究带来的新发现

去重研究（paper，2021）表明，彻底去除重复内容后，模型输出背诵文本的频率降至十分之一，达到相同准确率所需的训练步数也随之减少。数据集最多缩小了19%，困惑度没有变差，某些情况下还改善了最多10%。研究者总结称，没有观察到去重带来的缺点。

2023年，多个方向同时出现。DataComp（paper）构建了一个基准测试，用128亿个图像-文本对组成的候选池和38个评估集来比较多模态数据过滤方法。用最佳基线DataComp-1B训练的CLIP ViT-L/14在ImageNet上的零样本准确率达到79.2%，比使用相同训练流程和计算量的OpenAI CLIP高3.7个百分点。数据剪枝研究（paper）报告称，困惑度这一简单分数优于更昂贵的质量指标，只用原始数据的30%也可能超过未剪枝的基线。

同年发布phi-1的《Textbooks Are All You Need》（paper）展示了合成数据的潜力。研究者使用从网络中挑选的60亿token“教科书级”数据，以及用GPT-3.5生成的10亿token合成教科书和练习题，在8张A100上用4天训练了一个13亿参数的代码模型。该模型在HumanEval上的pass@1为50.6%，在MBPP上为55.5%。数据受限缩放研究（paper）探讨了相反的问题：当可用数据不足、需要重复使用同一批数据时，在4个epoch（把数据过四遍）以内，损失与使用新数据时几乎没有差别；但重复更多次后，即使增加计算，得到的收益最终也会降到0。

2024年的FineWeb（paper）把这些经验汇集成一个大规模公开数据集。它从96个Common Crawl快照中清洗出15万亿token，并对过滤和去重的每项设计选择逐一做实验、记录成文档。FineWeb-Edu用评估教育价值的分类器筛选出1.3万亿token，在MMLU、ARC等需要知识和推理的基准测试上表现明显更好。其意义在于，把企业一直作为商业机密隐藏的数据清洗方法变成了公开资料。

最新走向：更细致的评分，更低成本的筛选

第一个趋势是不再用单一分数，而是用多个标准来评估质量。Edu-QuRating（paper）认为，把“教育价值”看作一个数字的现有过滤器过于粗糙，因此单独设定了准确性、结构等教育类标准。它把LLM-as-a-Judge（LLM评审）对两篇文档进行比较选择的结果，蒸馏成轻量、可复用的评分模型。最好的评分器以平均0.917的准确率复现了GPT-4.1-mini的比较判断。用为3.2225亿篇文档打分后构建的数据预训练小模型，九个基准测试的综合准确率高于FineWeb-Edu基线。不过，这只是各运行一次得到的比较结果。

第二个趋势是降低筛选成本。挑选后训练数据时常用的方法，是看每个样本的梯度（告诉模型往哪个方向调整的信号）与一个小验证集的梯度方向有多一致。问题在于每个样本都要做反向传播，成本很高。LESSER（paper）表明，仅用输出层的梯度就已足够：它把特征提取的计算量在SFT上降低了9.7倍，在强化学习基准测试上降低了3.0倍，同时保持了与使用完整梯度时相近的性能。

总之，数据清洗正在从“用规则丢弃”转向“用模型评分”，再进一步转向“权衡哪些数据会如何改变模型再做选择”。不仅是预训练，在微调、对齐等后训练阶段，数据筛选也在被单独研究。

局限与争议

最先遇到的问题是平衡。FineWeb（paper）指出，过滤得太多会导致数据不足以预训练通用模型。数据受限缩放研究（paper）同样出于对网络文本可能很快耗尽的担忧，并作为替代方案实验了混入代码数据、去掉部分常用过滤器等方法。质量与数量是此消彼长的关系。

第二是安全问题。基于质量筛选之后的投毒攻击研究（paper）表明，质量过滤器虽能滤掉大量明显有害的样本，但未被滤掉而留下的“高质量”样本反而可能破坏模型的安全对齐。研究者提出的Bi-QSTO是一种把投毒样本打磨到能通过质量标准的方法，即使在滤掉90%数据的强过滤器下，也有超过90%的投毒样本存活下来。质量高并不意味着安全。

第三是评估陷阱。正如去重研究（paper）所示，训练数据与评估数据重叠会使分数虚高。如果用基准测试分数来挑选过滤器，还存在只留下对该基准测试有利的数据的风险。FineWeb-Edu（paper）在MMLU、ARC等以知识为主的基准测试上表现尤其好，这一结果也说明“好数据”的含义可能随所用的基准测试而变化。

第四，合成数据会原样带上生成它的模型的水平和倾向。phi-1（paper）依赖GPT-3.5生成的数据，因此合成数据的质量取决于生成它的模型和提示词设计。

延伸学习

初学者建议先读去重研究（paper）。它对问题、两种去重方法和效果的阐述简短清晰，便于理解数据清洗为何重要。接着读FineWeb（paper），可以看到真实的大规模清洗管道是怎样一连串的选择，以及如何用实验验证每个选择。

如果对质量分数感兴趣，依次阅读数据剪枝研究（paper）和Edu-QuRating（paper），可以看到从简单分数到多标准评分的演变。合成数据可从phi-1论文（paper）入手，数据不足时的策略可从数据受限缩放研究（paper）入手。

对于图像、文本等多模态数据，DataComp（paper）展示了如何公平地设计数据实验。如果在实践中为挑选后训练数据的成本发愁，可以看LESSER（paper）；如果担心数据管道的安全，不妨一并阅读质量筛选之后的投毒攻击研究（paper）。