토크나이저가 다른 모델 간 On-policy Distillation 다시 보기: Alignment 범위보다 감독 신호의 신뢰성

문제

On-policy Distillation(OPD)는 Student 모델이 직접 생성한 응답에 Teacher의 피드백을 주어 학습시킨다. 그런데 Teacher와 Student의 토크나이저가 다르면 토큰 경계와 어휘가 달라 예측을 비교하기 어렵다. 최근 연구들은 정렬되지 않는 구간까지 감독하도록 Alignment 범위를 넓혀 왔다. 하지만 범위를 넓힌 만큼 학습이 실제로 좋아지는지는 검증되지 않았다.

방법

Student 응답을 두 토크나이저로 각각 나눈 뒤, Student 토큰 하나와 Teacher 토큰 하나가 같은 구간을 덮는 '엄격 1:1 위치'에서만 비교한다. 이 위치에서 두 분포를 공유 어휘로 제한·재정규화하고 reverse KL을 적용한다(Strict 목적함수). 이 기준에 두 가지를 더해 실험했다. (1) 1:1로 맞지 않는 구간의 로그확률에 MSE 손실(span 감독)을 가중치 λ로 추가한다. (2) KL 계산 범위를 Student가 고른 공유 어휘 상위 k개로 줄인다. 실험은 수학·코드 과제에서 Teacher→Student 3쌍(Qwen→Llama, Granite→Phi, Granite→Qwen)으로 했다. 확률 질량 측정과 그래디언트 진단으로 결과를 해석했다.

결과

• 정적 어휘 Jaccard 중첩은 39.49~64.87%에 그쳤지만, Student Rollout 토큰의 85.57~96.98%가 엄격 1:1 위치에 속했다.
• λ>0인 span MSE 18개 설정은 모두 감독 범위 100%를 달성했다. 그러나 전체 평균 정확도는 각 쌍의 Strict 기준(λ=0)보다 0.27~1.20%p 낮았다.
• 엄격 위치에서 공유 어휘는 Teacher 확률 질량의 99.69~99.90%, Student 확률 질량의 98.99~99.81%를 평균적으로 담았다. Student가 고른 top-16만으로도 Teacher 질량 93.54% 이상, Student 질량 94.55% 이상이 유지됐다.
• top-16으로 제한한 학습은 공유 어휘 전체 OPD가 Distillation 전 Student 대비 얻은 전체 평균 향상의 96% 이상을 유지했다. 전체·축소 Strict 목적함수 모두 세 쌍에서 ULD, Extended ULD, GOLD, SimCT보다 전체 평균이 높았다.
• Strict 손실로만 학습한 체크포인트에서 span 그래디언트는 Strict 그래디언트와 방향 일치도가 약하거나 음수였다. 상대 크기는 학습이 진행될수록 커졌다. 저자들은 이것이 span 감독 시 정확도 하락을 설명할 수 있다고 보고했다.

한계

Teacher→Student 3쌍과 수학·코드 두 영역(DAPO-Math, CodeForces 프롬프트 2만 개)에서만 실험했다. 정렬 안 된 구간의 감독 방식은 로그확률 MSE 하나만 시험했으므로, 다른 목적함수를 쓰면 결론이 달라질 수 있다. 그래디언트 진단에 대해서도 저자들은 정확도 하락을 '설명할 수 있다'는 정도로만 해석했고, 인과관계를 입증하지는 않았다.

의미

서로 다른 모델 계열 간 Distillation에서 '더 많은 위치를 감독할수록 좋다'는 가정에 반례를 제시한다. 실무에서는 1:1 정렬 위치와 Student 기준 top-k 어휘만 써도 계산을 줄이면서 성능을 유지할 수 있다는 근거가 된다.

핵심 용어

On-policy Distillation(OPD)

Student 모델이 직접 생성한 응답의 각 위치에서 Teacher 분포와 맞추도록 학습하는 Distillation 방식이다. Student가 실제로 방문하는 상태에서 감독을 받는다.

Cross-Tokenizer 정렬

토크나이저가 다른 두 모델의 토큰 경계와 어휘를 대응시키는 과정이다. 시퀀스 수준(어느 토큰끼리 같은 구간인지)과 어휘 수준(어떤 어휘 항목이 공유되는지)을 모두 다룬다.

Reverse KL

Student 분포를 기준으로 Teacher 분포와의 차이를 재는 KL 발산이다. Student가 Teacher가 낮게 평가하는 토큰에 확률을 두지 않도록 유도한다.

공유 어휘(Shared Vocabulary)

Teacher와 Student 어휘에 공통으로 존재하는 토큰 집합이다. 이 집합으로 두 분포를 제한·재정규화하면 직접 비교할 수 있다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu, Yuewei Zhang · 게시 2026-10-06 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.