논문 리뷰 · 2026년 10월 17일

Waypoint-OPD: 중간 체크포인트 게이팅으로 강화학습이 만든 정책 변화를 전이하는 On-policy Distillation

Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

Teacher 강화학습의 중간(Waypoint) 체크포인트로 초기·후기 정책 변화가 같은 방향인지 확인해 전이 신호를 거르는 방식으로, 수학·코드 6개 설정 모두에서 기존 Distillation 방법보다 높은 평균 점수를 얻었다.

문제

Direct-OPD 같은 정책 변화 Distillation은 Teacher의 강화학습 전후 로그 확률 차이(끝점 변화)를 Student에게 전달한다. 그런데 같은 끝점 변화라도 학습 초기와 후기의 변화가 서로 강화한 결과일 수도, 서로 상쇄하다 남은 결과일 수도 있다. 끝점만 보면 이 둘을 구분할 수 없다.

방법

같은 강화학습 실행에서 Initial(학습 전), Waypoint(중간), Final(학습 후) 세 Teacher 체크포인트를 고정해 둔다. Student가 생성한 각 prefix에서 Student 확률 상위 k개(실험은 16개) 후보 토큰을 뽑는다. 이 후보들에 대해 Initial→Waypoint 변화와 Waypoint→Final 변화를 계산하고, 후보 공통 성분을 빼서 중심화한 뒤 코사인 유사도를 구한다. 이 값을 max(0, cos) 게이트로 바꿔 Initial→Final 끝점 신호에 곱한다. 두 변화의 방향이 반대면 신호를 끄고, 같으면 유지한다. 배치 단위로 게이트 평균을 정규화하고, Student 초기 모델에 대한 KL 페널티를 둔다. Direct-OPD와 비교해 추가 비용은 고정된 Teacher의 scoring pass 한 번뿐이다.

결과

수학 7개 벤치마크 평균(mean@32)에서 Direct-OPD 대비 Qwen3-8B는 53.96→56.14, Qwen3-14B는 57.61→59.20, Qwen3-30B-A3B는 55.96→57.85로 높았다. 21개 비교 중 19개에서 개선됐다.
코드 5개 평가 평균(mean@8)에서 Direct-OPD 대비 Qwen3-8B는 50.59→53.25, 14B는 56.30→57.82, 30B-A3B는 56.35→57.54였다. 저자들은 15개 비교 모두에서 개선됐다고 보고했다.
14B Student의 수학 평균은 Final Qwen3-4B Teacher(56.13)보다 3.07점 높았다.
Qwen3-8B 수학 실험에서 게이트를 없애거나 섞으면 성능이 떨어졌다. 저자들은 이를 시간적 방향 일치 게이팅이 효과가 있다는 근거로 제시했다.

한계

Teacher는 Qwen3-4B 하나, Student는 같은 Qwen3 계열 세 모델만 실험했다. 방법상 Teacher와 Student가 토크나이저를 공유해야 한다. Ablation은 Qwen3-8B 수학 설정에서만 했다. Student 체크포인트는 AIME 2024 점수로 골랐는데, AIME 2024는 평가 벤치마크에도 포함된다. 저자들도 방향이 일치한다고 해서 유익한 신호라는 보장은 없다고 밝혔다.

의미

한 모델에 들인 강화학습 비용을 다른 크기의 모델에 재활용하는 실용적인 경로다. 학습 중 체크포인트 하나만 더 보관하면 적은 추가 비용으로 전이 품질을 높일 수 있어, 여러 크기의 모델을 함께 운영하는 팀에 의미가 있다.

핵심 용어

On-policy Distillation: Student가 직접 생성한 응답(Rollout) 위에서 Teacher의 신호를 받아 학습하는 Distillation(지식 증류) 방식. Teacher가 만든 정답만 따라 하는 방식보다 학습과 실제 사용 조건의 차이가 적다.
정책 변화(Policy Shift): 강화학습 전후 Teacher가 같은 토큰에 주는 로그 확률의 차이. 강화학습이 어떤 선택을 더 선호하게 바꿨는지를 보여준다.
Waypoint 체크포인트: 같은 강화학습 실행의 중간 지점에 저장한 모델. 학습 초기와 후기의 변화 방향을 비교하는 기준점으로 쓴다.
게이팅(Gating): 조건에 따라 신호를 0~1 사이 가중치로 줄이거나 끄는 장치. 여기서는 두 변화의 방향 일치도로 가중치를 정한다.

원문

저자: Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu, Yuewei Zhang · 게시 2026-10-15 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.