LLM 사전학습 데이터를 위한 호스트 인지형 웹 크롤링

문제

LLM 사전학습 데이터의 상당 부분은 웹 크롤링에서 오지만, 수집한 페이지 대부분은 품질 필터에서 버려진다. 크롤러가 한정된 예산을 어떤 호스트에, 얼마나 깊게 배분해야 고품질 데이터를 더 많이 모을 수 있는지는 거의 연구되지 않았다.

방법

Common Crawl CC-MAIN-2024-10의 WARC 파일 224개(약 0.25%)에서 문서 301만 개(호스트 532,628개)를 추출했다. 여기에 DCLM, FineWeb-Edu, Nemotron-CC, GneissWeb 등 10개 품질·주제 분류기 점수를 매겼다. 이를 웹 그래프 중심성(harmonic centrality, PageRank)과 Common Crawl의 호스트별 크롤 커버리지와 결합했다. 분석 방법은 ICC1 분산 분해, 호스트 순서별 크롤 수율 시뮬레이션, 크롤 깊이 정책 시뮬레이션, 실제 크롤 예산과 품질 밀도의 상관 분석이다.

결과

• 10개 분류기 모두에서 문서 점수 분산 중 호스트 간 비중(ICC1)이 0.43~0.62였다. 품질 변동의 약 절반이 호스트 사이에서 생긴다.
• 10% 크롤 예산에서 harmonic centrality 순 크롤링은 무작위 대비 0.7~1.8배의 고품질 페이지를 모았다. 호스트 품질을 아는 oracle은 4.0~8.0배였다. DCLM 기준으로는 중심성 순서가 무작위보다 나빴다.
• 호스트당 3페이지 샘플의 품질이 나머지 페이지 품질과 Spearman ρ=0.53으로 상관했다. 이를 쓴 sample-then-deepen 정책은 작은 예산에서 균일 깊이 정책보다 fetch당 고품질 페이지를 최대 7.8배(예산이 커지면 1.7배) 더 모았고 oracle에 근접했다.
• 565만여 호스트에서 Common Crawl의 호스트별 크롤 커버리지와 품질 밀도의 상관은 -0.08이었다. 저자들은 해당 크롤에서 알려졌지만 수집되지 않은 URL 중 고품질 페이지를 약 5,800만 개로 추정했다.
• DCLM은 비영어 호스트를 영어 호스트보다 높게 평가하는 등(중앙값 0.29 대 0.0005) 언어 구성이 중심성-품질 상관을 왜곡한다는 점을 보였다.

한계

'품질'은 분류기가 예측한 사전학습 유용성이라는 대리 지표다. 크롤링 결과로 실제 모델을 사전학습해 성능을 비교하지는 않았다. 분류 샘플은 전체 WARC의 약 0.25%다. 미수집 고품질 페이지 추정은 미수집 페이지의 품질 밀도가 같은 호스트의 수집 페이지와 같다는 가정에 기반한다.

의미

사전학습 데이터 품질 관리를 크롤링 이후 필터링에서 크롤링 단계로 앞당길 수 있다. 호스트당 소수 페이지만 분류하면 되므로 계산 비용이 적다. 대규모 웹 데이터 수집 파이프라인 운영에 바로 참고할 수 있다.

핵심 용어

ICC1(급내 상관계수)

전체 점수 분산 중 그룹(여기서는 호스트) 사이 차이가 차지하는 비율이다. 1에 가까울수록 같은 호스트의 페이지 품질이 균일하다.

Harmonic Centrality

웹 그래프에서 다른 노드들과 얼마나 가깝게 연결되어 있는지를 재는 중심성 지표다. Common Crawl이 크롤 우선순위를 정하는 데 쓴다.

품질 분류기(Quality Classifier)

문서 텍스트를 보고 사전학습에 유용한 정도를 점수로 예측하는 모델이다. fastText 기반이 흔하다.

Sample-then-deepen

호스트마다 몇 페이지만 먼저 수집해 품질을 추정하고, 점수가 높은 호스트에 크롤 예산을 더 쓰는 정책이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Malte Ostendorff · 게시 2026-10-09 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.