论文解读 · 2026年10月13日

面向 LLM 预训练数据的主机感知网页爬取

Host-Aware Web Crawling for LLM Pretraining Data

利用网页文档质量约有一半取决于主机这一点，表明先对每个主机只采样几个页面、再对优质主机进行深度爬取，可将高质量页面的产出率提高数倍。

问题

LLM 预训练数据中相当一部分来自网页爬取，但收集的页面大多会被质量过滤器丢弃。爬虫应将有限的预算分配给哪些主机、爬取多深，才能收集到更多高质量数据，这一问题几乎没有被研究过。

方法

从 Common Crawl CC-MAIN-2024-10 的 224 个 WARC 文件（约 0.25%）中提取了 301 万个文档（532,628 个主机），并为其打上 DCLM、FineWeb-Edu、Nemotron-CC、GneissWeb 等 10 个质量和主题分类器的分数。再将这些分数与网络图中心性（harmonic centrality、PageRank）以及 Common Crawl 各主机的爬取覆盖率相结合。分析方法包括 ICC1 方差分解、按主机顺序的爬取产出模拟、爬取深度策略模拟，以及实际爬取预算与质量密度的相关性分析。

结果

在全部 10 个分类器中，文档分数方差中主机间部分的占比（ICC1）为 0.43~0.62。质量波动约有一半发生在主机之间。
在 10% 的爬取预算下，按 harmonic centrality 排序爬取收集到的高质量页面是随机爬取的 0.7~1.8 倍。知道主机质量的 oracle 为 4.0~8.0 倍。以 DCLM 为标准时，中心性排序反而不如随机。
每个主机 3 个样本页面的质量与其余页面质量的 Spearman 相关系数为 ρ=0.53。利用这一点的 sample-then-deepen 策略，在小预算下每次 fetch 收集的高质量页面最多是均匀深度策略的 7.8 倍（预算变大时为 1.7 倍），并接近 oracle。
在约 565 万个主机上，Common Crawl 各主机爬取覆盖率与质量密度的相关系数为 -0.08。作者估计，该次爬取中已知但未被收集的 URL 里约有 5,800 万个高质量页面。
研究表明，语言构成会扭曲中心性与质量的相关性，例如 DCLM 对非英语主机的评分高于英语主机（中位数 0.29 对 0.0005）。

局限

“质量”是分类器预测的预训练有用性这一代理指标。研究没有用爬取结果实际预训练模型来比较性能。分类样本约占全部 WARC 的 0.25%。对未收集高质量页面的估计，基于未收集页面的质量密度与同一主机已收集页面相同这一假设。

意义

可以将预训练数据的质量管理从爬取后的过滤提前到爬取阶段。由于每个主机只需对少量页面进行分类，计算成本较低。可直接为大规模网页数据采集流水线的运营提供参考。

关键术语

ICC1（组内相关系数）: 在总分数方差中，组间（此处为主机间）差异所占的比例。越接近 1，同一主机内页面的质量越均匀。
Harmonic Centrality: 一种中心性指标，衡量网页图中某个节点与其他节点连接的紧密程度。Common Crawl 用它来确定抓取优先级。
质量分类器（Quality Classifier）: 根据文档文本预测其对预训练的有用程度并给出分数的模型。常见的是基于 fastText 的模型。
Sample-then-deepen: 一种策略：先在每个主机上只采集少量页面来估计质量，再把更多抓取预算分配给得分高的主机。

原文

作者: Malte Ostendorff · 发布 2026-10-09 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。