数据过滤
数据过滤是在训练 AI 模型之前，从收集到的数据中挑出并剔除质量低、有害或无用内容的工作。去掉什么和放进什么一样，会在很大程度上决定模型性能。
通俗解释 这就像做饭前把从市场买来的蔬菜中坏掉的、沾满泥土的挑出来。不过挑得太苛刻，可能连能用的食材也扔掉，菜品就会变得单调。
工作原理
通常会让数据依次通过多道过滤网。首先识别文本所用的语言，再用简单的规则过滤掉过短或乱码的文本、广告和垃圾内容。接着进行去重，删除重复出现的相同文本。最后由经过训练、能识别“好文本”的小型分类模型或 LLM 打分，只保留达到一定分数的数据。其中还包括查找并删除个人信息或有害内容的步骤。
每个阶段逐步减少的数据
收集的原始数据
按规则过滤去除垃圾内容·乱码文本
去重
按质量分数过滤分类模型·LLM 打分
训练数据
为什么重要
从互联网抓取的原始数据中夹杂着大量无意义的文本、重复的语句和错误信息。直接用这些数据训练，模型会学到奇怪的语气，训练成本也会白白增加。即使使用同样的计算资源，用过滤良好的数据训练也能得到更聪明的模型——这一认识在业内广泛传开后，过滤已成为预训练的核心竞争力。
注意事项
“好数据”的标准由谁来定，结果就会不同。如果只保留教科书式的文本，口语以及特定地区、群体的说话方式就会消失，模型可能出现偏向。防止评估题目混入训练数据的数据污染，也是过滤要承担的工作。因此，过滤的强度要通过实验确认后再调整。
示例
开发大语言模型的公司通常的做法是：收集公开网络数据后，用质量分类器打分，只把高分数据用于预训练。一些公开训练数据集还会另外发布用 LLM 挑选出“教育价值高的文本”的版本。企业用内部文档搭建聊天机器人时，也要先过滤掉过时文档、草稿和重复文档，回答质量才会提高。