자기 Distillation 파인튜닝(SDFT): 잊지 않고 새로 배우는 법

왜 필요했나: 파인튜닝하면 잊어버린다

파인튜닝(Fine-tuning, 이미 학습된 모델을 특정 업무 데이터로 추가 학습하는 일)의 기본은 SFT(지도 미세조정)다. 질문과 모범 답을 짝지어 주고 모델이 그 답을 한 토큰씩 그대로 내도록 학습시킨다. 단순하고 효과도 좋아서 거의 모든 사후 학습(Post-training)에 들어간다.

문제는 모범 답이 모델 자신이 쓴 글이 아니라는 점이다. 사람이나 다른 모델이 쓴 답은 단어 선택, 길이, 말투가 이 모델의 원래 분포(무엇을 얼마나 그럴듯하다고 여기는지)와 다르다. 이 차이를 억지로 메우다 보면 모델 내부가 크게 움직이고, 원래 잘하던 지시 따르기나 안전 응답, 다른 분야 실력이 무너진다. 이것을 파국적 망각(catastrophic forgetting)이라고 한다. 'SDFT 2024' 연구논문는 과제 데이터셋과 LLM 사이의 분포 차이를 이 문제의 주된 원인으로 봤다.

'Self-Distillation으로 하는 지속 학습' 연구논문는 같은 문제를 학습 방식 관점에서 정리했다. 모델이 직접 만든 Rollout으로 배우는 On-policy 강화학습은 망각이 적지만 명시적인 보상 함수가 필요하다. 그런데 그런 보상 함수는 없는 경우가 많다. 결국 시연(모범 답)에서 배우려면 SFT를 써야 하는데, SFT는 본질적으로 Off-policy(모델이 아닌 다른 쪽이 만든 데이터로 배우는 방식)다. SDFT는 이 두 방식 사이의 빈자리를 메우려고 나왔다.

핵심 아이디어: 정답을 베끼지 말고 자기 말로 고쳐 배우기

비유하면 이렇다. SFT는 학생에게 모범 답안을 한 글자도 틀리지 않게 베껴 쓰라고 하는 것이다. 내용은 익히지만 평소 자기 글씨체와 말버릇까지 흐트러진다. SDFT는 학생에게 모범 답안을 보여 준 다음 '이걸 참고해서 네 말로 다시 써 봐'라고 하고, 그렇게 쓴 글로 연습시키는 쪽이다. 배워야 할 내용은 들어오되 문장은 학생 자신의 것이라 원래 실력을 덜 망가뜨린다.

Distillation(지식 증류)은 원래 큰 Teacher 모델의 출력 분포를 작은 Student 모델이 따라 하게 하는 기법이다. Self-Distillation은 Teacher와 Student가 같은 모델이라는 뜻이다. 다른 점은 Teacher 쪽만 정보를 더 가진다는 데 있다. 모범 답을 미리 봤거나, 시연이 프롬프트에 들어 있는 식이다. 그래서 Teacher의 출력은 '정답 정보를 담았지만 이 모델이 원래 쓸 법한 분포'가 된다.

이 설계가 맞바꾼 것은 분명하다. 외부 정답을 그대로 쓸 때보다 신호가 덜 날카로울 수 있다. 대신 학습 신호가 모델 분포 안쪽에 머물러서 새로 배우는 것과 기존 능력을 지키는 것 사이의 균형이 좋아진다. 같은 SDFT라는 이름 아래 두 가지 구현이 있고, 아래 비교표에 정리했다.

어떻게 작동하나: 두 가지 SDFT

첫 번째는 'SDFT 2024'논문가 제안한 데이터 재작성 방식이다. (1) 과제 데이터의 질문과 원래 정답을 모델에 함께 준다. (2) 모델이 그 정답을 참고해 자기 말로 답을 다시 쓴다. (3) 원래 정답 대신 이렇게 Distill된 데이터셋으로 보통의 SFT를 한다. 학습 데이터가 모델의 원래 분포와 맞춰지는 것이 핵심이다. Llama-2-chat 실험에서 망각을 줄이면서 하위 과제 성능은 일반 파인튜닝과 비슷하거나 더 높았고, 도움이 되는 정도(helpfulness)와 안전 정렬을 지키는 데도 가능성을 보였다고 보고했다.

두 번째는 'Self-Distillation으로 하는 지속 학습' 연구논문의 On-policy 방식이다. (1) Student는 시연 없이 질문만 보고 스스로 답을 생성한다. 이것이 On-policy 데이터다. (2) 같은 모델에 시연을 프롬프트로 함께 넣은 것이 Teacher다. 컨텍스트 안에서 배우는 능력 덕분에 Teacher는 Student보다 더 나은 판단을 한다. (3) Student가 만든 답의 각 토큰마다 Teacher가 내는 확률 분포를 학습 목표로 삼아, 두 분포의 차이를 줄이는 방향으로 Student를 업데이트한다. 보상 함수 없이 시연만으로 On-policy 학습 신호를 얻는 셈이다.

두 번째 방식이 왜 망각을 줄이는지는 '모델이 실제로 가는 길 위에서 배운다'는 점으로 설명할 수 있다. SFT는 모델이 가지 않을 문장 경로를 강제로 따라가게 한다. 반면 On-policy SDFT는 모델이 스스로 만든 Trajectory 위에서 토큰마다 살짝씩만 방향을 고친다. '테스트 타임 Self-Distillation' 연구논문는 이 구조를 시연을 조건으로 했을 때 생기는 점별 상호정보량(pointwise mutual information)이 암묵적인 보상 역할을 하는 것으로 해석했다. 강화학습처럼 보이지만 보상 모델을 따로 만들지 않아도 된다는 뜻이다.

발전 흐름: 회복, 정보량 조절, 작은 모델

출발점은 앞에서 본 두 연구다. 'SDFT 2024'논문는 분포 차이를 줄인 데이터로 망각을 완화했다. 'Self-Distillation으로 하는 지속 학습'논문은 기술 학습과 지식 습득 과제에서 SFT보다 새 과제 정확도가 높고 망각은 크게 줄었다고 보고했다. 여러 기술을 차례로 배우는 실험에서도 한 모델이 성능 저하 없이 기술을 쌓아 갔다. 두 연구는 이름이 같지만 작동 방식은 다르다.

'성능 회복으로서의 Self-Distillation' 연구논문는 SDFT를 망각뿐 아니라 양자화나 가지치기(pruning)로 떨어진 성능을 되살리는 회복 도구로 썼다. 이 연구는 LLM의 생성 능력이 Hidden 레이어가 만드는 고차원 구조(manifold)에 달려 있다고 보고, CKA(Centered Kernel Alignment)로 Student와 Teacher의 활성화 Trajectory가 얼마나 맞는지 쟀다. 그 결과 성능 회복과 이 구조의 정렬 정도가 강하게 연관됐다. 'SDFT가 왜 되는가'에 내부 표현 쪽 설명을 붙인 셈이다.

iSDFT논문는 On-policy SDFT의 약점을 짚었다. 기존 방식은 언제나 시연을 다 본 Teacher 쪽으로 끝까지 끌고 가서, 토큰마다 시연 정보를 얼마나 넘길지 조절할 수 없다. iSDFT는 Teacher를 '정해진 예산만큼 정보를 주는 출처'로 보고, 토큰마다 정보 제약을 만족하면서 현재 Student와 가장 가까운 분포를 목표로 삼는다. 누적 이탈을 막으려고 고정된 원래 모델에도 묶어 둔다. 네 가지 LLM과 두 특화 과제에서 8개 설정 중 7개는 기존 SDFT보다 좋았고 나머지 1개는 같았다. 평가의 73%가 원래 모델과 0.5점 안쪽 차이를 유지했고, 가장 강한 비교 방법은 52%였다.

SynthSelf논문는 SDFT가 작은 모델에서 실패한다는 점을 다뤘다. SDFT는 컨텍스트 안에서 배우는 능력과 지시 따르기 능력이 강해야 하는데, 작은 모델은 이것이 약하다. 이 연구는 습득 부진과 망각이 학습 뒤 분포 이동과 선형으로 연관된다는 점을 보이고, 재작성 일을 같은 계열의 '조금 더 큰' 모델에 맡겼다. 여기에 Off-policy 지도와 거절 샘플링(rejection sampling, 품질이 낮은 생성물은 버리는 방식)을 결합했다. 4개 습득 데이터셋과 14개 유지 벤치마크에서 3가지 작은 모델 크기 모두 6개 방법보다 좋았다.

요즘 어디로 가고 있나

첫 번째 방향은 시연이 없는 상황으로 넓히는 것이다. SD-Zero논문는 한 모델이 두 역할을 하게 한다. 생성자(Generator)가 먼저 답을 내고, 수정자(Reviser)가 그 답과 맞음/틀림 보상을 보고 더 나은 답을 만든다. 그다음 수정자의 토큰 분포를 On-policy Self-Distillation으로 생성자에게 Distill한다. RLVR(검증 가능한 보상 강화학습)의 이진 보상이 드문드문한 신호라는 한계를 토큰 단위의 촘촘한 신호로 바꾸는 시도다. Qwen3-4B-Instruct와 Olmo-3-7B-Instruct에서 원래 모델보다 최소 10% 나아졌고, 같은 질문 집합과 학습 샘플 예산에서 RFT, GRPO, SDFT보다 좋았다고 보고했다.

두 번째는 학습 없이 추론 시점에 같은 원리를 쓰는 방향이다. '테스트 타임 Self-Distillation'논문은 시연 대신 '아주 잘 추론하는 상황'과 '형편없이 추론하는 상황'을 가정하는 고정 문구를 컨텍스트에 넣는다. 그리고 두 조건에서 후보 답의 로그 확률 비를 보상으로 삼는다. 이 보상으로 다시 가중한 분포는 토큰별로 쪼갤 수 없어서 빔 서치로 근사한다. MATH500, HumanEval, GPQA에서 일반 샘플링, 낮은 온도, 일반 빔 서치보다 나았다고 밝혔다.

세 번째는 실제 도메인 사후 학습에 넣는 흐름이다. 금융 추론 사후 학습 연구논문는 SFT, 강화학습과 함께 Self-Distillation SFT와 모델 병합을 '원래 있던 금융 능력을 잃지 않게 하는 장치'로 썼다. FINESSE-Bench에서 일반 SFT는 정확도를 3.2~4.0%p 떨어뜨렸지만, Self-Distillation SFT는 출발 모델보다 1.0~2.8점 올렸다. 동일 가중치 병합은 SFT 모델보다 3.0점을 되찾아 원래 모델보다 0.9점 높았다. 에이전트 쪽에서는 ACLArena논문가 여러 단계에 걸친 사후 학습에서 다중 Teacher On-policy Distillation, Self-Distillation 파인튜닝, 모델 병합이 이전 능력을 얼마나 되살리는지 체계적으로 비교했다.

한계와 쟁점: 언제 쓰고 언제 피하나

가장 큰 전제는 모델이 컨텍스트 안에서 시연을 잘 활용해야 한다는 점이다. SynthSelf논문가 보였듯이 작은 모델에서는 On-policy SDFT가 실패할 수 있다. 온디바이스용 소형 모델이라면 같은 계열의 조금 더 큰 모델에 재작성을 맡기는 우회로를 생각해야 한다. 또 Teacher가 결국 자기 자신이라서, 모델이 원래 전혀 모르는 지식을 넣을 때 신호가 얼마나 정확할지는 Teacher의 수준에 묶인다.

두 번째 쟁점은 '얼마나 Teacher를 따라갈지'다. iSDFT논문가 지적했듯이 시연 정보를 무조건 다 넘기면 특화 성능과 범용 능력 사이의 조절 손잡이가 없다. 반대로 너무 약하게 넘기면 새 과제를 덜 배운다. 이름이 같은 방법이라도 데이터 재작성형논문과 On-policy형논문은 비용 구조도 다르다. 재작성형은 한 번 생성하고 일반 SFT를 돌리면 된다. On-policy형은 학습 중에 계속 생성하고 Teacher 확률을 계산해야 해서 학습 비용이 더 든다.

실무 판단 기준은 이렇다. 범용 어시스턴트를 특정 업무에 맞추면서 안전 응답이나 지시 따르기를 지켜야 할 때, 여러 단계로 기능을 차례로 붙일 때, 양자화 뒤 떨어진 성능을 되살리고 싶을 때 검토할 만하다. 반대로 모델의 말투나 형식 자체를 완전히 바꾸는 것이 목표라면, 원래 분포를 지키려는 SDFT의 성격이 오히려 방해가 될 수 있다. 흔한 실수는 새 과제 점수만 보고 판단하는 것이다. 이 기법의 가치는 유지 성능에 있으므로 원래 모델 대비 범용 벤치마크 변화를 함께 재야 한다. 금융 연구논문처럼 모델 병합이라는 다른 선택지와도 함께 비교해 보는 것이 좋다.

도메인에 쓸 때는 검증 장치도 함께 둬야 한다. 의료처럼 지식 일관성이 중요한 분야에서 Evontree논문는 온톨로지 규칙으로 모델 지식의 불일치를 먼저 찾고, 빈 부분을 Self-Distillation 파인튜닝으로 보강했다. 의료 QA에서 최대 3.7%의 정확도 향상을 보고했다. 모델이 스스로 만든 신호는 스스로의 오류도 함께 담을 수 있다. 그래서 규칙이나 검증기 같은 바깥 기준으로 거르는 단계가 사실상 필수다.

더 공부하려면

먼저 두 출발점을 나란히 읽는 것을 권한다. 'SDFT 2024'논문는 분포 차이라는 문제 설정과 데이터 재작성이라는 가장 단순한 해법을 보여 준다. 공개 코드도 있어 따라 하기 좋다. 이어서 'Self-Distillation으로 하는 지속 학습'논문을 읽으면 같은 문제를 On-policy 학습으로 푸는 이유가 잘 보인다.

그다음에는 관심사에 따라 고르면 된다. 원리가 궁금하면 내부 표현 정렬로 설명한 '성능 회복' 연구논문를 읽는다. 조절 가능한 변형이 필요하면 iSDFT논문, 작은 모델이 대상이면 SynthSelf논문가 맞다. 강화학습과의 접점이 궁금하면 SD-Zero논문와 '테스트 타임 Self-Distillation'논문이 좋다.

실무 적용 사례로는 금융 사후 학습 파이프라인논문과 에이전트 지속 학습 비교(ACLArena, 논문)가 SFT, 모델 병합, Self-Distillation을 같은 조건에서 비교해서 선택 기준을 세우는 데 도움이 된다.