도메인 라우팅을 넘어서: 다중 Teacher On-policy Distillation을 위한 Cross-Teacher 가딩

문제

다중 Teacher On-policy Distillation(MOPD)은 도메인별 데이터를 해당 전문 Teacher에게 보내 Student를 학습시킨다. 그런데 모든 도메인의 업데이트가 같은 파라미터에 쌓인다. 의학과 수학·코드처럼 응답 스타일이 크게 다른 도메인을 함께 학습하면 Gradient 충돌이 계속 생기고, 의학 성능이 단일 도메인 학습보다 떨어졌다.

방법

Road MOPD는 해당 도메인을 담당하는 Teacher의 지도는 그대로 두고, 다른 도메인 Teacher를 같은 Student Trajectory의 보조 평가자로 쓴다. 토큰 단계에서는 두 Teacher의 로그 확률을 고정된 참조 모델과 비교해 일치도를 계산한다. 두 Teacher가 같은 방향을 지지하면 보상을 키우고, 반대면 줄인다. Gradient 단계에서는 보조 Teacher가 같은 Trajectory에 대해 만든 Gradient와 충돌하는 성분을 미리 제거한다. 이때 원래 Gradient 크기를 일정 비율 이상 유지하도록 제거 정도를 조절한다.

결과

• Qwen3-4B, 수학×의학 조합에서 의학 평균은 48.23으로 Vanilla MOPD(39.45)보다 높았고, 단일 도메인 OPD(47.90)와 비슷한 수준을 회복했다. 전체 평균은 47.92로 비교 방법 중 가장 높았다(CaMOPD 47.20).
• Qwen3-1.7B, 수학×의학 조합에서 의학 평균은 36.89로 Vanilla MOPD(31.18)보다 높았고, 전체 평균도 32.05로 가장 높았다.
• 저자들은 충돌이 큰 설정에서 의학 정확도가 Vanilla MOPD보다 5.6~8.8%p 올랐고, 충돌이 작은 조합과 세 도메인 설정에서도 전체 성능이 좋아졌다고 보고했다.

한계

Qwen3-1.7B에서는 수학 평균이 27.21로 Vanilla MOPD(28.36)보다 낮아, 불리한 도메인을 살리는 대신 다른 도메인 성능을 일부 잃는 경우가 있다. 보조 Teacher가 같은 Trajectory를 추가로 채점하고 별도 Gradient도 계산해야 해서 학습 비용이 늘어난다. 실험한 Student는 4B 이하 소형 모델이다. 저자들도 Gradient 투영은 국소적 성질일 뿐 보조 도메인 성능을 보장하지는 않는다고 밝혔다.

의미

여러 전문 모델을 하나의 모델로 Distill할 때, 수학·코드에서 잘되던 방식이 다른 도메인 조합에서는 무너질 수 있음을 보여준다. 도메인 사이의 호환성을 학습 중에 직접 다루는 방법을 제시한다.

핵심 용어

On-policy Distillation(OPD)

Student가 직접 생성한 Trajectory에 Teacher가 토큰 단위 피드백을 주는 Distillation(지식 증류) 방식이다. 학습과 추론에서 보는 분포의 차이를 줄인다.

MOPD

도메인별 전문 Teacher 여러 개를 두고, 각 데이터를 담당 Teacher에게 보내 하나의 Student를 학습시키는 방식이다.

Gradient 충돌

서로 다른 도메인의 업데이트 방향이 반대(내적이 음수)여서, 하나를 개선하면 다른 쪽이 나빠지는 현상이다.

Gradient 투영(PCGrad 계열)

충돌하는 다른 Gradient 방향의 성분을 빼서 업데이트 방향을 고치는 기법이다. 이 논문은 업데이트 전에 미리, 부분적으로 투영한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Shi-Yu Tian, Yong Liu, Ximan Liu, Tianrui Zhu, Sule Bai, Xinwei Yang, Ruiqi Liu, Kun-Yang Yu, 외 · 게시 2026-10-09 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.