논문 리뷰 · 2026년 10월 29일
사전학습 데이터가 남기는 어휘적 흔적
The Lexical Imprint of Pre-training Data
사전학습 코퍼스와 벤치마크 사이의 단어 단위 unigram 교차 엔트로피(UCE)를 측정해, 이 값이 낮을수록 zero-shot 정확도가 높다는 관계를 통제된 사전학습 실험으로 보이고, 이를 데이터 선택과 드래프터 라우팅에 활용했다.
문제
Zero-shot 벤치마크 정확도 중 얼마가 사전학습 코퍼스와 벤치마크의 단어 분포 정렬로 설명되는지 알기 어렵다. 기존 분석은 이미 학습된 체크포인트를 사후 분석해서, 코퍼스 효과가 학습 레시피·규모·이력과 섞여 있었다.
방법
코퍼스와 벤치마크의 단어 빈도 분포로 UCE를 정의했다. 토크나이저와 모델이 필요 없고, 상수를 빼면 KL 발산과 같다. 학습 레시피를 고정하고 코퍼스 4종(C4, DCLM, FineWeb-Edu, OpenWebText)과 모델 3종(400M, 1.33B, 3.36B)을 처음부터 사전학습해 10개 벤치마크로 평가했다. 이어 문서마다 UCE를 가장 많이 높이는 행을 빼는 UCE-filter로 데이터를 선택했고, 프롬프트마다 UCE가 가장 낮은 도메인 드래프터를 고르는 speculative decoding 라우팅을 실험했다.
결과
- 3.36B 모델을 60B 토큰으로 학습한 설정에서, UCE 순위가 8개 벤치마크 모두에서 세 코퍼스의 정확도 순위와 일치했다. 품질 평판과 달리 HellaSwag·PIQA에서는 C4의 UCE가 더 낮고 정확도도 높았다.
- 400M 모델을 8.5B 토큰 부분집합 16개로 학습했을 때 UCE와 정확도의 역관계가 유지되었다(ARC Easy R²=0.928, PIQA R²=0.805).
- UCE-filter는 7개 목표 과제 기준 UCE를 DCLM에서 11.17→10.92, FineWeb-Edu에서 11.32→10.93으로 낮춰 DSIR(11.08, 11.20)보다 더 낮췄다. 저자들은 이 선택이 목표 정확도를 높였다고 보고했다.
- 프롬프트 단위 드래프터 라우팅은 범용 드래프터 기준선보다 처리량을 높였다고 보고했다. 제공된 본문 범위에는 구체 수치가 없다.
한계
코퍼스 수준의 관계는 큐레이션·장르 차이와 얽혀 있어 상관 관계일 뿐이라고 저자들이 밝혔다. unigram 통계는 문맥 정보를 반영하지 못하는 거친 대리 지표다. 실험 규모는 3.36B 모델, 70B 토큰 이하다. UCE-filter는 목표 벤치마크를 미리 알아야 하므로, 저자들도 독립적인 데이터 선택 방법으로 내세우지 않는다.
의미
벤치마크 점수 중 일부가 단순한 어휘 분포 정렬에서 온다는 점을 통제 실험으로 보여, 사전학습 데이터 품질 평가와 벤치마크 해석에 경계할 점을 준다. 모델 없이 계산할 수 있는 저렴한 지표라 데이터 혼합 설계나 도메인 라우팅에 바로 쓸 수 있다.
핵심 용어
- Unigram 교차 엔트로피(UCE)
- 벤치마크 단어 분포를 코퍼스 단어 분포로 부호화할 때의 교차 엔트로피다. 낮을수록 두 분포가 가깝다.
- Zero-shot 우도 기반 평가
- 선택지마다 모델의 조건부 우도를 계산해 가장 그럴듯한 답을 고르는 평가 방식이다.
- Speculative decoding
- 작은 드래프터 모델이 토큰을 미리 제안하고 큰 모델이 한 번에 검증해 생성 속도를 높이는 기법이다.
원문
저자: Jeonghoon Kim, Woojin Chung, Woomin Song, Cheonbok Park, Nako Sung, Jinwoo Shin · 게시 2026-02-11 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.