영어 품질 분류기를 다국어 LLM 사전학습 데이터 선별에 맞게 확장하기

문제

품질 분류기로 웹 코퍼스에서 좋은 데이터만 골라내는 방식은 영어에서 효과가 컸다. 하지만 저자원 언어에는 품질 라벨 데이터가 부족하다. 기존 다국어 방법은 언어별 학습 데이터가 필요하거나, 고자원 언어 17~20개 수준에서만 검증됐다.

방법

FineWeb 2에서 상위 100개 언어 데이터 0.1%를 Qwen3-32B로 영어로 번역했다(약 500만 문서). 번역문에 영어 품질 분류기 FineWeb-edu와 DCLM을 적용해 점수를 매겼다. 이 점수를 라벨로 쓰고, 원문 다국어 텍스트의 임베딩을 입력으로 삼아 MLP를 학습시켰다. MLP는 은닉층 2개짜리이며, 임베딩 모델(XLM-RoBERTa 또는 mmBERT)은 고정했다. 이렇게 걸러 낸 상위 10% 데이터로 1B·3B·8B LLM을 사전학습해 성능을 비교했다.

결과

• 1B 모델(100B 토큰), 영어+상위 20개 언어 기준: 4가지 조합(mFW-edu·mDCLM × XLM-R·mmBERT)의 평균 점수가 0.4087~0.4145로 차이가 작았다.
• 영어만으로 학습한 분류기도 휴리스틱 필터링 기준선(FW+FW2)보다 크게 높았다. 다른 모델 기반 필터링과도 비슷한 수준이었다. 학습 언어를 늘리면 소폭 개선됐다.
• 1B·3B·8B 규모에서 가장 강한 기준선(FWHQ+FW2HQ+)과 비슷한 성능을 냈다. 1B에서는 mFW-edu, 3B·8B에서는 mDCLM의 평균 점수가 가장 높았다고 저자들은 보고했다.
• 지역·문화 지식 벤치마크(INCLUDE, CulturalBench 등)에서 성능 저하가 없었다고 저자들은 보고했다.
• 합성 백과사전형 데이터와 웹 샘플의 점수 비교, LLM 심사 점수와의 상관 분석을 했다. 저자들은 이를 근거로, 분류기 학습에 없던 언어에서도 영어 원본 분류기의 채점 기준을 따른다고 해석했다.

한계

LLM 학습 평가는 영어+상위 20개 언어에서만 했다. 21~100위 언어는 합성 데이터 8개 언어와의 점수 비교로, 100위 밖 언어는 LLM 심사 점수와의 상관으로만 간접 평가했다. 가장 가까운 선행 연구인 MuRating은 코드·데이터가 공개되지 않아 직접 비교하지 못했다. 품질 기준이 영어 분류기의 기준을 그대로 물려받는 구조이고, 기계 번역 품질에도 좌우된다. 번역에 약 750 H100 GPU 시간이 들었다.

의미

다국어 LLM을 만들 때 언어마다 품질 라벨을 따로 만들지 않고도 기존 영어 분류기를 재사용해 데이터를 선별할 수 있다. 저자원 언어 데이터 큐레이션 비용을 줄일 수 있다. 분류기 가중치도 공개되어 바로 써 볼 수 있다.

핵심 용어

모델 기반 품질 필터링

분류기가 웹 문서마다 품질 점수를 매기고, 상위 문서만 사전학습 데이터로 남기는 방식이다. FineWeb-edu와 DCLM이 대표 사례다.

Cross-lingual 일반화

한 언어(주로 영어)에서 배운 기준이 학습에 쓰지 않은 다른 언어에도 그대로 통하는 성질이다.

Frozen 임베딩 + MLP

사전학습된 인코더(mmBERT 등)는 고정해 두고, 그 임베딩 위에 작은 신경망만 학습시키는 방식이다. 연산 비용이 적고 임베딩을 다른 작업에 재사용하기 쉽다.

LLM-as-a-judge

LLM에게 텍스트 품질을 채점하게 해서 평가 기준으로 쓰는 방법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Vinko Sabolčec, Bettina Messmer, Yassine Turki, Martin Jaggi · 게시 2026-10-08 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.