On-policy Self-Training: 데이터 없이 스스로 개선하는 대규모 언어 모델

문제

On-policy 자기 Distillation(OPSD)은 더 강한 Teacher 없이 학습할 수 있다. 하지만 정답 풀이나 사람이 큐레이션한 문제 세트가 여전히 필요하다. 기존 자기학습도 정답은 없애도 문제 세트는 과제마다 새로 모아야 한다.

방법

'추상대수' 같은 주제 설명만 입력으로 받는다. 생성기가 문제와 특권 정보(풀이 근거+후보 답)를 만든다. 품질 관리는 두 단계다. Pseudo-verification은 특권 정보 없이 새 맥락에서 다시 풀고, 바꿔 쓴 문제에서도 같은 답이 나오는지 확인한다. Consensus gate는 Student가 여러 Rollout에서 이미 모두 맞히는 문제를 버린다. 학습은 Student가 문제만 보고 생성한 Trajectory 위에서, 특권 정보를 본 Teacher의 토큰 분포를 skewed JSD로 따라가게 한다. Teacher는 Student의 EMA다. 이 과정을 여러 라운드 반복하며, 이미지와 캡션·탐지 결과를 특권 정보로 쓰는 Visual OPST로 확장했다.

결과

• Gemma 4 E2B에서 MMLU 정확도가 초기 모델 대비 10.2%p 올랐다.
• GSM8K, GPQA, HellaSwag에서도 일관된 향상을 보고했다.
• 자기학습한 도메인 밖의 성능은 유지되거나 함께 올랐다고 보고했다.
• 라벨 없는 이미지만 쓴 Visual OPST로 VQAv2 정확도가 6.9%p 올랐다.
• 저자들은 다른 학습 전략(SFT, RL 등)보다 나은 성능을 보고했다.

한계

품질 검증이 모델 자신의 판단에 의존해, 모델이 일관되게 틀리는 문제는 걸러지지 않을 수 있다. 주요 수치는 소형 모델(Gemma 4 E2B) 중심이다. 개선 폭은 모델의 기존 잠재 지식 범위에 묶일 수 있다. 제공된 본문에서는 실험 절이 생략돼 기준선별 세부 비교는 확인하지 못했다.

의미

라벨링 데이터 없이 주제 목록만으로 모델을 후속 학습할 수 있다면, 데이터 구축 비용이 큰 도메인에서 후속 학습 비용을 크게 낮출 수 있다. 생성 답을 정답으로 쓰지 않고 Teacher의 맥락으로 쓰는 설계는 합성 데이터 활용 방식으로도 참고할 만하다.

핵심 용어

OPSD(On-policy Self-Distillation)

같은 모델을 Teacher와 Student로 쓰되, Teacher에게만 추가 정보(특권 정보)를 주고 Student가 자기 응답 위에서 Teacher 분포를 따라가게 하는 학습법이다.

Consensus gate

Student가 여러 번 풀어 항상 맞히는 문제는 배울 것이 적다고 보고 버리는 필터다. 그 결과 학습 난이도가 모델 실력에 맞춰 바뀐다.

EMA Teacher

Student 가중치의 지수이동평균으로 만든 Teacher다. 노이즈가 섞인 배치 하나에 흔들리지 않게 해 감독 신호를 안정화한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Leon Sick, Lukas Hoyer, Yannick Strümpler, Christian Reisswig, Timo Ropinski, Federico Tombari · 게시 2026-10-23 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.