← 주요 논문

논문 리뷰 · 2026년 11월 14일

사전학습 데이터 통계가 언어 모델의 개체 비교 학습 단계를 결정한다

Pretraining Data Statistics Shape the Phases of Learning Entity Comparison in Language Models

언어 모델안전·정렬 중급 cs.CL

개체 비교 과제로 학습 과정을 추적해, 언어 모델이 빈도 → 위치 → 정답 순서로 전략을 바꾸며 이 순서가 데이터 분포에 의해 인과적으로 정해진다는 것을 보였다.

문제

'프랑스와 브라질 중 어느 나라가 더 큰가?' 같은 비교 질문에 언어 모델은 실제 값을 비교하지 않고 휴리스틱으로 답할 수 있다. 자주 본 개체를 고르거나, 프롬프트에서 특정 위치의 개체를 고르는 식이다. 사전학습 중 이런 휴리스틱이 언제 생기고 사라지는지, 데이터 통계가 이를 어떻게 결정하는지는 잘 알려지지 않았다.

방법

9개 비교 과제(국가, 미국 주, 대학, 영화, 인물)를 정의했다. 163M 파라미터 GPT-2급 모델을 OLMo-2 사전학습 코퍼스와 합성 과제 데이터의 혼합으로 처음부터 학습했다. 체크포인트마다 개체별 누적 등장 빈도를 셌다. 그리고 빈도, 위치(절편), 실제 값이라는 세 특징으로 모델 출력을 예측하는 로지스틱 회귀를 맞췄다. 특징 하나를 뺐을 때 회귀 정확도가 얼마나 떨어지는지로 각 전략의 비중을 쟀다. 합성 데이터 비율(0~1%)과 개체 분포(Zipf vs 균등)를 바꿔 인과 관계를 검증했고, OLMo-2 1B~32B 체크포인트에도 같은 분석을 적용했다.

결과

한계

통제 실험은 163M 소형 모델과 3개 과제로만 했다. 소형 모델이 과제를 배우도록 템플릿과 똑같은 합성 데이터를 넣었기 때문에, 자연 사전학습과 조건이 다르다. 평가에도 학습과 같은 개체를 써서 암기 가능성이 있다(저자들은 부록에서 20% 홀드아웃 실험으로 점검했다). 분석은 손으로 고른 세 특징에 의존한다.

의미

사전학습 데이터의 빈도 분포가 모델의 지름길 학습을 직접 좌우한다는 인과적 근거를 제시했다. 데이터 구성을 조절하면 휴리스틱에 덜 의존하게 만들 수 있다는 실무적 시사점이 있다. 소규모 실험으로 대규모 학습 동역학을 예측할 수 있다는 점도 보였다.

핵심 용어

Zipf 분포
소수 항목이 매우 자주 등장하고 대부분 항목은 드물게 등장하는 긴 꼬리 분포다. 자연어의 단어·개체 빈도가 대표적인 예다.
Drop-one 정확도
회귀 모델에서 특징 하나를 뺐을 때 예측 정확도가 얼마나 떨어지는지를 잰 값이다. 그 특징이 모델 행동을 얼마나 설명하는지 보여준다.
위치 편향
정답과 관계없이 프롬프트에서 처음 또는 마지막에 나온 개체를 고르는 경향이다.

원문

저자: Yik Siu Chan, Jing Huang, Yanai Elazar, Atticus Geiger · 게시 2026-11-12 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.