Distillation(지식 증류): 큰 모델의 능력을 작은 모델로

왜 필요했나: 큰 모델은 잘하지만 비싸다

LLM(대규모 언어 모델)은 클수록 대체로 잘하지만, 그만큼 답 하나를 만드는 데 드는 연산과 비용이 커진다. 서로 다른 기록이 같은 대상을 가리키는지 가려내는 Entity Resolution 연구 DistillER논문는 LLM 기반 방법이 높은 성능을 내는 대신 계산 자원이나 비용 부담이 크다는 점을 출발점으로 삼았다. 에이전트 쪽도 마찬가지다. D-Skill논문은 최상위 모델로 만든 에이전트가 복잡한 일을 잘하지만 추론 비용이 높아서, 그 능력을 작은 모델로 옮기는 일이 필수가 됐다고 설명한다.

그렇다고 작은 모델을 처음부터 따로 키우려면 사람이 정답을 단 데이터(라벨)가 많이 필요하다. 라벨을 만드는 일은 느리고 비싸다. 이미 잘하는 큰 모델이 있다면, 그 모델을 선생님 삼아 작은 모델을 가르치는 편이 훨씬 빠르다. 이게 Distillation(지식 증류)의 출발점이다. 가르치는 큰 모델을 Teacher 모델, 배우는 작은 모델을 Student 모델이라고 부른다.

핵심 아이디어: 정답지 말고 선생님의 고민까지 배우기

비유로 시작해 보자. 수학 문제집 뒤쪽 정답지에는 '답: 3'만 적혀 있다. 그런데 옆자리 선생님은 '3이 거의 확실하지만, 5라고 착각하기 쉽고, 100일 리는 없다'처럼 각 후보가 얼마나 그럴듯한지까지 알려 준다. Student 모델이 정답지 대신 이 선생님에게서 배우면, 정답 하나에서 얻을 수 있는 것보다 훨씬 많은 정보를 얻는다.

언어 모델은 다음 토큰(단어 조각)을 고를 때마다 사전에 있는 모든 후보에 확률을 매긴다. 이 확률 분포를 흔히 소프트 라벨이라 하고, Distillation은 Student가 이 분포를 Teacher와 비슷하게 맞추도록 학습시킨다. 두 분포가 얼마나 다른지 재는 잣대로는 KL 발산이라는 값이 자주 쓰인다. 확률을 직접 볼 수 없을 때는 Teacher가 만든 답 문장만 모아서 Student를 파인튜닝하기도 하는데, 이것도 넓은 의미의 Distillation이다.

이 분포에는 생각보다 많은 정보가 담긴다. 숨은 편향을 다룬 Distill to Detect논문는 앞선 연구를 들어, 주제와 상관없는 데이터로 Distillation을 해도 편향이 옮겨 갈 수 있고 그 신호는 생성된 글이 아니라 소프트 로짓 분포 안에만 있어 글만 읽어서는 보이지 않는다고 설명한다. 좋은 지식이든 나쁜 습관이든 확률 분포를 타고 함께 옮겨 간다는 뜻이다.

어떻게 작동하나: Off-policy와 On-policy

Distillation은 학습에 쓰는 답안을 누가 쓰느냐에 따라 크게 두 갈래로 나뉜다. 첫째는 Off-policy 방식이다. ① 문제를 Teacher 모델에게 주고 ② Teacher가 쓴 답(과 가능하면 확률)을 데이터로 모은 뒤 ③ Student가 그 답을 따라 쓰도록 SFT(지도 미세조정)를 한다. 구현이 쉽고, 미리 데이터를 만들어 둘 수 있다. DistillER논문는 사람이 단 정답 라벨 없이 LLM Teacher가 만든 다소 부정확한 라벨로 Student를 SFT하는 방식이 다른 Distillation 전략보다 꾸준히 낫고, 판단 이유를 설명하는 글도 잘 만들어 냈다고 보고했다.

둘째는 On-policy 방식(OPD, On-policy Distillation)이다. ① Student가 문제를 받아 직접 답을 쓰고(이렇게 모델이 직접 생성한 답 하나를 Rollout, 그 과정의 토큰 흐름을 Trajectory라 부른다) ② Teacher가 그 Trajectory를 토큰 하나하나 읽으며 '나라면 이 자리에서 이 토큰을 얼마나 골랐을까'를 확률로 알려 주고 ③ Student는 그 차이를 줄이도록 고쳐진다. DOPD논문는 이 방식이 Student가 실제로 만든 Trajectory에 토큰 단위의 촘촘한 신호를 줘서 능력을 더 잘 옮긴다고 설명한다. 남이 쓴 모범답안을 외우는 대신, 내가 쓴 답안을 선생님이 줄마다 첨삭해 주는 셈이다.

셋째로 Self-Distillation이 있다. 별도의 큰 Teacher 없이, 같은 모델에게 참고 답안 같은 추가 정보(privileged information)를 주고 Teacher 역할을 맡긴다. 답을 미리 본 '나'가 답을 모르는 '나'를 가르치는 구조다. Self-Distilled Policy Gradient(SDPG, 논문)는 이런 On-policy Self-Distillation이 보상이 드물게 주어지는 강화학습에 촘촘한 지도 신호를 보태 준다고 본다.

발전 흐름: 출발점 연구들이 각각 새로 한 것

이번에 살펴볼 출발점 연구들은 모두 2026년 전후에 나왔고, 각자 Distillation의 다른 면을 넓혔다. DistillER논문는 데이터 고르기, Teacher 하나 대 여럿, SFT 대 강화학습이라는 세 축으로 Distillation을 체계적으로 비교해서 실무에 쓸 기준을 제시했다. Distillation Traps and Guards논문는 실패 원인을 파고들어 Teacher 확률 분포 꼬리 쪽의 잡음, Off-policy 학습의 불안정, 그리고 가장 근본적으로 Teacher와 Student의 실력 차를 '함정'으로 꼽았다.

On-policy 쪽에서는 Teacher에게 추가 정보를 줄 때 생기는 문제가 드러났다. DOPD논문는 Teacher가 참고 정보를 봐서 잘하는 부분(Student가 따라 할 수 없는 정보 격차)과 Student가 실제로 메워야 할 실력 격차가 뒤섞이는 현상을 'privilege illusion'이라 부르고, 토큰마다 Teacher와 Student 중 누구의 신호를 얼마나 쓸지 나눠 주는 방식을 제안했다. LLM과 VLM(비전-언어 모델) 모두에서 기본 OPD보다 꾸준히 나았다고 한다. SDPG논문는 Self-Distillation을 RLVR(검증 가능한 보상 강화학습)과 합쳐 안정성과 성능이 RLVR이나 Self-Distillation 단독보다 낫다고 보고했다.

Distillation은 모델을 작게 만드는 데만 쓰이지 않는다. 같은 모델을 더 빠르게 만드는 데도 쓰인다. 자기 Distillation으로 다중 토큰을 한 번에 예측하게 만든 연구논문는 별도 보조 모델 없이 원래 체크포인트와 같은 구조를 유지한 채 GSM8K에서 정확도 하락을 5% 미만으로 막으면서 3배 넘게 빠른 디코딩을 얻었다. DiLaDiff논문는 디퓨전 언어 모델에서 여러 단계가 걸리는 생성을 몇 단계짜리 모델로 Distill해 계산 부담을 줄였다. Distill to Detect논문는 아예 방향을 바꿔, 의심 모델과 원본 모델 사이의 분포 차이를 작은 어댑터에 Distill해서 숨은 편향을 겉으로 드러내는 탐지 도구로 썼다.

요즘 어디로 가고 있나

첫째, 가중치를 건드리지 않는 Distillation이 나왔다. D-Skill논문은 Teacher를 블랙박스로 두고, Teacher와 Student의 Rollout을 짝지어 비교해서 행동이 갈리는 지점을 찾은 뒤 그 교훈을 사람이 읽을 수 있는 스킬 문서로 정리한다. Student는 추론할 때 이 문서를 받아 볼 뿐 재학습은 하지 않는다. 스프레드시트·가상 집안일·체스 퍼즐 과제에서 Teacher와 Student의 실력 차를 75~95% 메웠고, 같은 모델 계열 안에서는 Student의 과제당 추론 비용이 Teacher보다 5.7~8.3배 낮았다고 보고했다.

둘째, 'Teacher를 무엇으로 고르느냐'가 중요한 변수로 떠올랐다. OPDArena논문는 SFT, RLVR, OPD를 다섯 개 사전학습 모델에서 비교했다. RLVR로 학습된 Teacher에게 배운 Student는 목표 과제 실력이 오르면서도 기존 능력을 유지한 반면, SFT로 학습된 Teacher에게 배운 Student는 기존 능력을 더 많이 잃었다. 원래 영역 밖에서 출력 분포가 많이 바뀔수록 잊어버리는 정도가 컸다는 관찰도 함께 나왔다.

셋째, 이론적 이해가 따라붙고 있다. Reverse-KL 정책 Distillation 연구논문는 Student가 직접 만든 답으로 배우는 온라인 방식에서 Teacher가 전체 확률 분포가 아니라 Student가 고른 토큰의 확률만 알려 주면 훨씬 많은 데이터가 필요할 수 있다고 분석했다. 반면 Teacher가 만든 답으로 배우는 오프라인 방식은 Teacher의 답 자체가 Teacher의 선호를 드러내기 때문에 이런 손해가 없다고 한다. 'On-policy가 무조건 낫다'고 단정할 수 없다는 근거다.

한계와 쟁점

Distillation은 생각보다 자주 실패한다. Distillation Traps and Guards논문는 Teacher와 Student의 실력 차 같은 함정이 학습 신호를 비틀어, 자신만만하게 틀리는 환각, 스스로 고치는 능력의 붕괴, 국소적인 생성 품질 저하로 나타난다고 정리했다. 큰 Teacher가 늘 좋은 선생님은 아니라는 말이다. 앞서 본 DOPD논문의 privilege illusion이나 OPDArena논문의 망각 문제도 같은 맥락이다.

둘째 쟁점은 지식재산과 보안이다. 같은 연구논문는 Distillation이 모델 유출 위험의 바탕이 된다고 지적하고, Teacher가 얼마나 잘 Distill되는지를 조절하는 방법을 내놓았다. 'Distill되지 않게' 보정한 Teacher는 자기 성능을 유지하면서 그걸 베낀 Student는 무너지게 만든다. 반대로 Distill이 잘되게 보정한 Teacher에게 배운 Student는 SFT나 일반 Distillation 기준선보다 나았다. 남의 API 출력을 모아 모델을 복제하는 모델 탈취를 막는 수단이 될 수 있다는 뜻이다.

셋째, 숨은 편향이 그대로 옮겨 갈 수 있다. Distill to Detect논문가 설명하듯, 공급망 어딘가에서 특정 브랜드나 관점을 편애하도록 조작된 모델은 해당 주제에서만 티를 내고 나머지에서는 원본과 똑같이 행동한다. 그런 모델을 Teacher로 쓰면 편향이 글에는 보이지 않는 확률 분포를 타고 Student에게 넘어갈 수 있다. 어떤 Teacher를 쓰는지 검증하는 일 자체가 품질과 안전의 문제가 된다.

더 공부하려면

처음이라면 DistillER논문부터 읽기를 권한다. Teacher 하나 대 여럿, SFT 대 강화학습처럼 실무에서 실제로 고민하는 선택지를 하나씩 비교해서, Distillation을 어떤 축으로 설계하는지 감을 잡기 좋다. 이어서 Distillation Traps and Guards논문를 읽으면 왜 실패하는지와 모델 보호라는 쟁점을 함께 볼 수 있다.

On-policy 계열이 궁금하면 DOPD논문로 OPD의 기본 구조와 privilege illusion을 익히고, SDPG논문로 Self-Distillation이 강화학습과 어떻게 합쳐지는지 보면 된다. 그다음 OPDArena논문로 Teacher 선택이 망각에 미치는 영향을, Reverse-KL 정책 Distillation 연구논문로 온라인과 오프라인 방식의 이론적 차이를 확인하면 흐름이 이어진다.

활용 쪽으로는 속도를 높이는 다중 토큰 예측 연구논문, 가중치 없이 스킬 문서로 옮기는 D-Skill논문, 보안 탐지에 쓴 Distill to Detect논문를 읽어 보면 Distillation이 '작은 모델 만들기'보다 훨씬 넓게 쓰인다는 걸 알 수 있다.