将英语质量分类器扩展用于多语言 LLM 预训练数据筛选

问题

用质量分类器从网页语料中只挑出优质数据的做法在英语上效果显著。但低资源语言缺乏质量标注数据。现有多语言方法要么需要各语言的训练数据，要么只在 17~20 种高资源语言的规模上得到验证。

方法

用 Qwen3-32B 将 FineWeb 2 中排名前 100 种语言的 0.1% 数据翻译成英语（约 500 万篇文档）。对译文应用英语质量分类器 FineWeb-edu 和 DCLM 进行打分。将这些分数作为标签，以原始多语言文本的嵌入作为输入来训练 MLP。MLP 有 2 个隐藏层，嵌入模型（XLM-RoBERTa 或 mmBERT）保持冻结。用这样筛选出的前 10% 数据对 1B、3B、8B LLM 进行预训练并比较性能。

结果

• 1B 模型（100B token），英语+前 20 种语言：4 种组合（mFW-edu·mDCLM × XLM-R·mmBERT）的平均分为 0.4087~0.4145，差异很小。
• 仅用英语训练的分类器也明显优于启发式过滤基线（FW+FW2），并与其他基于模型的过滤方法水平相近。增加训练语言后有小幅改善。
• 在 1B、3B、8B 规模上取得了与最强基线（FWHQ+FW2HQ+）相近的性能。作者报告，1B 时 mFW-edu 的平均分最高，3B 和 8B 时 mDCLM 的平均分最高。
• 作者报告，在地区与文化知识基准（INCLUDE、CulturalBench 等）上没有出现性能下降。
• 进行了合成百科式数据与网页样本的分数比较，以及与 LLM 评审分数的相关性分析。作者据此认为，即使在分类器训练中未出现的语言上，它也遵循原始英语分类器的打分标准。

局限

LLM 训练评估只在英语+前 20 种语言上进行。第 21~100 位的语言仅通过与 8 种语言合成数据的分数比较、100 位以外的语言仅通过与 LLM 评审分数的相关性进行了间接评估。最接近的先前研究 MuRating 未公开代码和数据，因此无法直接比较。质量标准原样继承自英语分类器，并且还受机器翻译质量的影响。翻译耗费了约 750 H100 GPU 小时。

意义

构建多语言 LLM 时，无需为每种语言单独制作质量标签，即可复用现有英语分类器来筛选数据。这可以降低低资源语言的数据整理成本。分类器权重也已公开，可以直接试用。

关键术语

基于模型的质量过滤

由分类器为每个网页文档打出质量分数，只保留排名靠前的文档作为预训练数据的方式。FineWeb-edu 和 DCLM 是代表性例子。

跨语言（Cross-lingual）泛化

在一种语言（主要是英语）上学到的标准，可以直接适用于训练中未使用的其他语言的特性。

冻结（Frozen）嵌入 + MLP

将预训练编码器（如 mmBERT）固定不变，只在其嵌入之上训练小型神经网络的方式。计算成本低，嵌入也便于在其他任务中复用。

LLM-as-a-judge

让 LLM 为文本质量打分并将其用作评估标准的方法。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• Hugging Face

作者: Vinko Sabolčec, Bettina Messmer, Yassine Turki, Martin Jaggi · 发布 2026-10-08 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。