Self-Distillation Fine-Tuning 자기 Distillation 파인튜닝(SDFT)

무엇인가

SDFT는 2026년 1월 arXiv에 공개되고 같은 해 8월에 개정된 논문 'Self-Distillation Enables Continual Learning'이 제안한 기법이다. 국내 IT 매체 보도에 따르면 MIT, Improbable AI Lab, 취리히연방공대(ETH) 연구진이 만들었다. 이 기법이 겨냥하는 문제는 '치명적 망각'이다. 치명적 망각은 모델이 새 작업을 배우는 동안 원래 잘하던 일을 못하게 되는 현상이다. SDFT는 SFT(정답 예시를 그대로 따라 쓰게 하는 지도 미세조정)를 대신해, 시연 데이터만 있어도 모델이 계속 새 능력을 쌓을 수 있게 하는 것을 목표로 한다. 이처럼 쌓아 가며 배우는 것을 연속 학습이라고 한다.

어떻게 작동하나

학습할 때 한 모델이 두 역할을 맡는다. Teacher 역할은 질문과 함께 전문가 시연 예시를 받는다. 모델은 프롬프트에 든 예시를 보고 바로 따라 하는 능력(인컨텍스트 학습)이 있어서, 예시를 본 상태에서는 더 나은 답을 낸다. Student 역할은 실제 사용 환경처럼 질문만 받고 스스로 답을 쓴다. 그다음 Student가 직접 쓴 답을 놓고, 그 답에 대한 Teacher의 예측에 가까워지도록 모델의 파라미터를 고친다. 모델이 자기가 만든 출력으로 배우므로 On-policy 학습이 된다.

왜 주목받나

기존에는 두 길이 있었다. 강화학습은 모델이 스스로 만든 데이터로 배워서 망각이 덜하다. 하지만 무엇이 좋은 답인지 점수를 매기는 보상 함수가 필요하고, 이를 정의하기 어려운 경우가 많다. SFT는 시연만 있으면 되지만, 모델이 직접 만든 답이 아닌 남의 답을 따라 하는 Off-policy 방식이라 망각이 크다. 연구진은 SDFT가 시연만으로 On-policy 학습을 할 수 있게 해 두 방식의 장점을 합쳤다고 밝혔다. 기술 습득과 지식 습득 작업에서 SFT보다 새 작업 정확도가 높고 망각은 크게 줄었으며, 여러 능력을 차례로 배워도 성능이 뒷걸음치지 않았다고 설명한다. 기업 입장에서는 작업마다 따로 파인튜닝한 모델이나 어댑터를 여러 개 관리하던 부담을 줄일 수 있다는 기대가 나온다.

알아 둘 점(한계)

2026년 10월 기준으로 SDFT는 연구 단계의 기법이고, 상용 서비스에 널리 쓰일지는 아직 알 수 없다. 보도에 따르면 학습 시간이 SFT보다 상당히 길고, 연산 자원도 약 2.5배 든다. 또 인컨텍스트 학습을 잘하는 충분히 강한 기본 모델이 있어야 Teacher 역할이 제대로 돌아간다. 모델이 자기가 만든 Rollout으로 배우므로, 결과를 재현하려면 버전 관리와 출력 기록을 꼼꼼히 해야 한다는 지적도 있다. 성능이 떨어지지 않았는지 다시 검증하는 과정이 필요 없어지는 것도 아니다. 이 때문에 금융·의료처럼 규제가 엄격한 영역보다는 사내 개발 도구나 범용 어시스턴트에서 먼저 실험될 가능성이 크다는 분석이 있다.

예시

한 회사가 사내 코딩 어시스턴트에 새로 도입한 내부 API 사용법을 가르치려 한다고 해 보자. 개발자들이 작성한 모범 코드 예시(시연)는 있지만, 좋은 코드인지 자동으로 채점할 보상 함수는 없다. SFT로 학습시키면 새 API는 익히지만 원래 잘하던 일반 코딩 실력이 떨어질 위험이 있다. SDFT를 쓰면 모범 예시를 본 모델(Teacher 역할)이 질문만 본 모델(Student 역할)의 답을 바로잡는 방식으로 학습한다. 그래서 기존 실력을 지키면서 새 API 지식을 더할 수 있다. 대신 학습 비용이 더 들고, 업데이트 뒤에도 기존 작업을 다시 평가해 봐야 한다.

함께 보면 좋은 용어

Distillation SFT 파인튜닝 강화학습 사후 학습 Evals

참고

• Self-Distillation Enables Continual Learning (arxiv.org)
• LLM 업데이트의 고질병 ‘치명적 망각’, SDFT로 돌파 시도 (itworld.co.kr)