주제 탐구 · 2026-11-12 · 심화 · 작성자 bombong
On-policy Distillation: Student가 만든 Rollout으로 배우기
On-policy Distillation(OPD)은 Student 모델이 직접 생성한 Rollout 위에서 Teacher 모델이 토큰마다 확률 분포로 첨삭해 주는 사후 학습 방법이다. SFT의 촘촘한 신호와 강화학습의 On-policy 데이터를 합친 대신 생긴 비용과 비대칭 문제를, 2026년 연구들이 여러 방향에서 고치고 있다.
목차
- OPD는 Student가 직접 만든 Rollout 위에서 Teacher가 토큰마다 다음 토큰 분포로 첨삭하는 방식이다. 학습 때와 실제로 쓸 때의 상황 차이를 줄이는 것이 목적이다.
- SFT의 촘촘한 신호와 강화학습의 On-policy 데이터를 합쳤다. 그 대가로 학습 중 생성·채점 비용이 들고, Teacher가 자기가 쓰지 않은 앞부분을 판단해야 하는 비대칭이 생긴다.
- 후속 연구는 교정 범위(SOPD·BranchOPD), Teacher 쪽 불일치(SCOUT·BOPD), 신호 형태(O³PD·RouteOPD)를 각각 고쳐 왔다.
- 최근 연구는 양자화·비동기 Rollout을 어디까지 허용할지, Teacher 개입을 얼마나 줄일지, 여러 Teacher 사이에 학습 예산을 어떻게 나눌지 같은 비용·규모 문제로 옮겨 가고 있다.
- 실무에서는 Teacher 온도, 긴 앞부분에서 Teacher가 내는 판단의 품질, 자기 Distillation을 오래 했을 때의 성능 저하를 먼저 점검해야 한다.
왜 필요했나: Teacher의 답안을 따라 쓰기만 하면 생기는 일
Distillation(지식 증류)은 큰 Teacher 모델의 능력을 작은 Student 모델에 옮기는 방법이다. 가장 단순한 형태는 Teacher가 쓴 답안을 모아 Student가 그대로 따라 쓰게 하는 SFT(지도 미세조정)다. 이 학습 데이터는 Teacher가 만든 것이어서 Student 입장에서는 Off-policy 데이터, 즉 남의 행동으로 만든 데이터다.
문제는 실제로 쓸 때 드러난다. 학습하는 동안 Student는 Teacher가 잘 써 둔 앞부분에 이어 쓰는 연습만 한다. 하지만 실제로 답할 때는 자기가 쓴 앞부분을 보고 다음 토큰을 골라야 한다. 한 번 어긋나면 학습 때 본 적 없는 상황에 놓이고, 거기서 또 실수하면서 오류가 쌓인다. DP-OPD논문는 이를 노출 편향(exposure bias), 그리고 긴 Rollout을 따라 누적되는 오류라고 부른다.
반대쪽 끝에는 강화학습이 있다. Student가 직접 답을 만들기 때문에 이런 불일치는 없다. 하지만 보통 '답이 맞았나' 같은 결과 점수 하나만 받으므로, 긴 답안 속 어느 토큰이 잘했고 어느 토큰이 못했는지는 알 수 없다. On-policy Distillation(OPD)은 둘 사이에서 'Student가 직접 만든 Trajectory 위에 Teacher가 토큰마다 촘촘한 신호를 준다'는 조합을 택한다.
핵심 아이디어: 조수석에 앉은 강사
운전 연수에 비유할 수 있다. Off-policy 방식은 강사가 운전하는 영상을 보며 배우는 것이다. OPD는 학생이 직접 운전대를 잡고, 조수석의 강사가 매 순간 '여기서는 이렇게'라고 짚어 주는 것이다. 학생이 실제로 들어선 길 위에서 첨삭이 이뤄지므로, 학생이 자주 실수하는 상황이 곧바로 연습 대상이 된다.
SOPD 논문논문은 OPD를 'Student가 생성한 Trajectory 위에서 Student를 Teacher의 로짓 분포(다음 토큰 후보별 점수)에 맞추는 방법'으로 정리한다. 또 OPD가 기존 Off-policy Distillation보다 훨씬 적은 데이터로 더 나은 결과를 내는 경우가 많다고 적는다.
그 대가도 있다. 학습할 때마다 Student가 새 Rollout을 만들어야 하고, Teacher도 그 토큰을 모두 다시 읽어야 한다. 데이터를 미리 준비하는 비용을 줄인 대신, 학습 중에 생성하고 채점하는 비용을 지는 셈이다. 게다가 Teacher는 자기가 쓰지 않은, 때로는 엉뚱한 앞부분을 보고 판단해야 한다. 뒤에서 다룰 후속 연구 상당수가 바로 이 지점을 파고든다.
세 가지 사후 학습 방식
SFT·Off-policyTeacher의 답 따라 쓰기
- 학습 때 본 앞부분이 실제와 다름
- 오류가 쌓이는 노출 편향
- 데이터를 미리 만들어 둠
On-policy Distillation내 답에 토큰마다 첨삭
- 학습·추론 상황이 같음
- 토큰마다 촘촘한 신호
- 학습 중 생성·채점 비용
강화학습(RLVR)결과 점수만 받기
- 학습·추론 상황이 같음
- 결과 점수뿐이라 신호가 성김
- 정답 판정기 필요
공통 모두 사후 학습에서 Student의 행동을 다듬는 방법
어떻게 작동하나
학습 한 단계는 대략 다음 순서로 돈다. 첫째, 프롬프트를 Student에게 주면 Student가 자기 방식대로 답을 끝까지 생성한다. 이것이 Rollout이다. 둘째, 고정된 Teacher에 같은 프롬프트와 Student의 답을 함께 넣고, 위치마다 'Teacher라면 다음 토큰으로 무엇을 얼마나 고를지' 확률을 계산하게 한다. Teacher는 새 글을 쓰지 않고 이미 쓰인 글을 읽기만 하므로, 한 번 읽어서 모든 위치의 확률을 얻는다. 셋째, 위치마다 Student와 Teacher의 확률 차이를 손실로 삼아 Student를 업데이트한다. 그다음 바뀐 Student로 다시 Rollout을 만든다.
손실로는 흔히 샘플링 기반 reverse-KL이 쓰인다. RouteOPD논문도 이것을 비교 기준으로 삼았다. 효율을 위해 Student가 실제로 고른 토큰에서만 Teacher와 Student의 차이를 계산하고, 그 값을 '이 토큰의 확률을 올려라/내려라'는 점수로 쓴다. RouteOPD는 이런 점수가 확률을 어디서 덜어 어디로 옮겨야 하는지까지는 알려 주지 않는다고 지적한다.
정리하면 OPD는 강화학습의 뼈대(직접 생성 → 신호 → 업데이트)에 Distillation의 촘촘한 신호(토큰마다 Teacher의 분포)를 끼운 구조다. 정답 판정기가 없어도 Teacher만 있으면 돌릴 수 있다는 점이 RLVR(검증 가능한 보상 강화학습)과 다르다.
발전 흐름: 기본 OPD의 약점을 네 방향에서 고치다
2026년의 출발점 연구들은 논문들이 Vanilla OPD라 부르는 기본 방식의 약점을 서로 다른 쪽에서 고친다. 첫째는 교정 범위다. SOPD논문는 토큰 단위 OPD가 잘못 들어선 Trajectory 위에 조각난 교정만 줄 뿐, 처음부터 끝까지 이어지는 올바른 수리 경로는 보여 주지 못한다고 본다. 그래서 Student의 Trajectory를 단계(step)로 나누고, 각 단계에서 Teacher가 Student의 앞부분에 이어 쓴 응답으로 단계 단위 감독을 한다. 단계 길이를 극단까지 바꾸면 한쪽 끝은 SFT, 다른 쪽 끝은 OPD에 가까워지는 중간 방식이다. ALFWorld에서는 Vanilla OPD보다 평균 성공률이 13.4점 높았다. BranchOPD논문는 Trajectory 하나가 갈림길마다 한 갈래만 보여 준다는 점을 문제 삼는다. Student가 확신이 없거나 Teacher와 크게 엇갈리는 지점을 골라, 앞부분은 공유한 채 다른 갈래를 다시 생성하고 본줄기와 갈래 모두에 Teacher 감독을 붙인다. 앞부분을 재사용한 덕분에 독립 Trajectory 7개를 만드는 경우보다 Student 생성 토큰 비용이 ALFWorld에서 약 19%, WebShop에서 약 31% 줄었다. 수학 평균 정확도(avg@16)는 Vanilla OPD보다 18.55%p 높았다.
둘째는 Teacher 쪽 문제다. SCOUT논문는 OPD의 비대칭을 짚는다. Rollout은 Student에게는 On-policy지만 Teacher에게는 Off-policy다. Teacher는 원래 자기가 쓴 앞부분을 잇도록 학습됐는데, Student가 쓴 앞부분이 길어질수록 이어 쓰는 실력이 떨어진다는 것을 실험으로 보였다. 그래서 OPD 도중 주기적으로 Teacher가 Student의 앞부분에 이어 쓰게 하고, 결과 보상으로 RLVR 학습을 시켜 Teacher를 Student에 맞춘다. BOPD논문는 외부 Teacher 대신, 참고 자료를 함께 받은 자기 복사본을 Teacher로 쓰는 On-policy 자기 Distillation(OPSD)을 다룬다. 초반에는 효과가 크지만, 계속 변하는 Student와 고정된 Teacher의 차이가 벌어지면서 학습을 오래 할수록 성능이 크게 떨어질 수 있다고 보고한다. 해법은 두 단계다. 먼저 OPSD로 지식을 중간 모델에 담는다. 그다음 참고 자료 없이 작동하는 이 중간 모델을 Teacher 삼아, 초기 모델의 새 복사본에 다시 Distill한다.
셋째는 신호의 형태다. O³PD논문는 Teacher의 토큰 확률에 '어떤 토큰을 선호하나'와 '얼마나 확신하나'가 섞여 있다고 본다. 확신의 정도는 Teacher 자신의 역량을 반영하므로 작은 Student가 따라 하기 어렵다. 그래서 상위 K개 토큰의 순서만 맞추게 했다. 순서는 Teacher 온도를 바꿔도 변하지 않으므로 온도를 조정할 필요가 없다. 여섯 쌍의 Teacher–Student 조합 모두에서 HMMT25·AIME24·AIME25 평균이 OPD보다 높았고(최대 2.9점), AIME25에서는 최대 5.6점 올랐다. RouteOPD논문는 반대로 신호를 더 풍부하게 만든다. Teacher와 Student의 차이를 확률이 넘치는 곳(출발지)과 모자란 곳(도착지)으로 나눈 뒤 짝지어, 확률을 어디서 어디로 옮길지 명시적으로 정한다.
넷째는 제약 조건이 있는 상황이다. DP-OPD논문는 민감한 데이터로 작은 모델을 만들 때 차분 프라이버시(개별 기록이 학습에 쓰였는지 드러나지 않게 하는 수학적 보장)를 Student 학습(DP-SGD)에만 건다. 고정된 Teacher는 Student가 만든 Trajectory 위에서 토큰별 목표만 준다. 프라이버시 예산 ε=2.0에서 합성 데이터 기반 방식보다 perplexity(낮을수록 좋은 언어 모델 지표)가 Yelp에서 44.15→41.68, BigPatent에서 32.43→30.63으로 개선됐다.
후속 연구의 대표 수치
요즘 어디로 가고 있나
2026년 11월에 나온 연구들은 OPD를 더 싸고 더 넓게 쓰는 쪽으로 움직인다. 먼저 비용이다. 불일치 허용 연구논문는 Rollout 생성 비용을 줄이려고 양자화된 추론과 비동기 Rollout을 쓸 때 생기는 학습-추론 불일치를 OPD가 얼마나 견디는지 측정했다. OPD는 상당한 불일치에도 학습 품질을 크게 잃지 않았고, 강화학습을 불안정하게 만드는 Rollout 설정에서도 안정적이었다. 다만 일정 수준을 넘으면 성능이 떨어지는 경험적 '불일치 예산'이 있다. 가중치에 잡음이 섞이면 생성되는 앞부분 자체가 달라져, 토큰 단위 교정으로는 고칠 수 없는 오류도 생긴다. 연구진은 설정마다 전체 학습을 돌리지 않고 Rollout 설정을 미리 걸러 내는 가벼운 점검 방법을 제안했다.
SSD(Speculative Self-Distillation, 논문)는 Rollout을 만드는 방식 자체를 손본다. 기본적으로는 Student가 생성하지만, Teacher의 다음 토큰 분포가 Student와 크게 갈리는 위치에서만 Teacher가 끼어들어 방향을 잡는다. 완전한 On-policy Rollout이 신호가 약한 상태로 흘러가는 것을 막으면서도, Student가 실제로 할 행동에 가깝게 유지하려는 설계다. 닫힌 책 질의응답 벤치마크 세 개에서 OPD와 거의 같은 성능을 내면서 감독 토큰은 38~69% 덜 썼다.
또 하나의 흐름은 여러 Teacher를 하나로 합치는 것이다. 수학·코드 생성·지시 따르기처럼 분야별 전문가 Teacher 여럿을 작은 Student 하나로 합치는 멀티 Teacher OPD(MOPD)가 늘고 있다. RDS-MOPD논문는 한정된 학습 예산을 분야별로 어떻게 나눌지를 다룬다. 성적이 가장 나쁜 분야를 우선하는 강건 최적화를 쓰되, 적은 Rollout에서 나온 잡음을 최악의 경우로 오해하지 않도록 했다. 차이가 잡음보다 확실히 클 때만 배분을 바꾸고, 각 분야가 자기 최고 수준에서 얼마나 떨어졌는지를 기준으로 삼는다.
한계와 쟁점: 언제 쓰고 무엇을 조심하나
OPD가 맞는 상황은 이렇다. 더 강한 Teacher가 있고, 그 Teacher의 토큰 확률을 Student의 앞부분 위에서 계산할 수 있어야 한다. 정답 판정기를 만들기 어렵거나 결과 보상만으로는 신호가 너무 성길 때 특히 쓸모가 있다. 반대로 Teacher의 다음 토큰 분포가 필요하므로 텍스트만 돌려주는 모델을 Teacher로 쓰기는 어렵다. 또 일반적으로 두 모델이 같은 토큰 단위에서 확률을 비교할 수 있어야 한다.
흔한 실수 첫째는 Teacher를 무조건 믿는 것이다. SCOUT논문가 보였듯 Student의 앞부분이 길어질수록 Teacher의 판단도 흔들린다. 긴 추론이나 여러 턴에 걸친 에이전트 작업이라면, Student의 앞부분에서도 Teacher가 제대로 이어 쓰는지 따로 확인해 볼 만하다. 자기 Distillation이라면 BOPD논문가 보고했듯 학습을 오래 할수록 성능이 꺾일 수 있으니 중간 체크포인트를 꾸준히 평가해야 한다.
둘째는 Teacher 온도를 대충 정하는 것이다. O³PD논문에 따르면 OPD는 Teacher 온도 선택에 민감하다. 여러 값을 비교해 정하거나, 순서 기반 손실처럼 온도에 영향받지 않는 목표를 검토한다. 셋째는 Rollout 비용을 줄이다가 선을 넘는 것이다. 불일치 허용 연구논문에 따르면 OPD는 양자화와 비동기 Rollout을 비교적 잘 견디지만 한계가 있다. 바꾼 설정이 품질을 떨어뜨리지 않는지 작은 실험으로 먼저 확인하는 편이 안전하다.
구조적인 한계도 남아 있다. SOPD논문가 지적했듯 토큰 단위 교정은 잘못 들어선 경로를 통째로 바로잡지 못한다. BranchOPD논문가 지적했듯 Trajectory 하나는 갈림길마다 한 갈래만 보여 준다. 에이전트처럼 긴 작업에서 이 한계가 크게 드러나므로 단계 단위 감독이나 분기 같은 보완책을 함께 고려한다.
OPD 도입 전 점검
Teacher
- Student의 앞부분에서도 Teacher가 잘 이어 쓰는가
- Teacher 온도를 여러 값으로 비교해 정했는가
- 두 모델의 토큰 확률을 같은 단위로 비교할 수 있는가
학습 운영
- 양자화·비동기 Rollout이 품질을 떨어뜨리지 않는가
- 자기 Distillation이라면 중간 체크포인트를 평가하는가
- 긴 에이전트 작업에 단계 감독·분기 보완이 필요한가
더 공부하려면
처음이라면 SOPD논문부터 읽기를 권한다. SFT와 OPD를 한 축의 양 끝에 놓고 설명하므로 두 방식의 차이를 잡기 좋다. 이어서 SCOUT논문로 'Teacher도 Off-policy 상황에 놓인다'는 비대칭을, O³PD논문로 'Teacher 확률 중 어떤 정보가 실제로 옮겨지는가'라는 질문을 따라가면 OPD의 주요 설계 쟁점이 대부분 보인다.
관심사에 따라 이어 읽을 논문은 다음과 같다. 에이전트 작업이라면 BranchOPD논문, 학습 시스템 비용이 고민이라면 불일치 허용 연구논문와 SSD논문, 여러 전문 모델을 하나로 합치는 문제라면 RDS-MOPD논문가 맞다. 프라이버시 제약이 있는 데이터를 다룬다면 DP-OPD논문가 OPD 구조를 어떻게 활용하는지 보여 준다. 손실 설계를 더 깊이 보고 싶다면 RouteOPD논문, 자기 Distillation이라면 BOPD논문를 읽는다.
관련 용어
참고 문헌
핵심 논문
- Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning (2026)
- Branching On-Policy Distillation (2026)
- On the Off-Policy Teacher in On-Policy Distillation (2026)
- Bootstrapped On-Policy Distillation (2026)
- Order-Only On-Policy Distillation (2026)
- Distillation as Probability Transport: Routed On-Policy Distillation (2026)
- DP-OPD: Differentially Private On-Policy Distillation for Language Models (2026)
최근 연구
AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.