주제 탐구 · 2026-11-17 · 심화 · 작성자 bombong
몇 단계 만에 그리기: 디퓨전 모델의 스텝 Distillation
디퓨전 모델은 수십 번 반복해 노이즈를 걷어 내므로 느리다. 스텝 Distillation은 많은 단계를 거치는 Teacher 모델을 1~4단계로 그리는 Student 모델에 옮기는 기술이며, 이 글은 분포 매칭(DMD)을 중심으로 원리, 맞바꾸는 것, 최근 흐름을 정리한다.
목차
- 스텝 Distillation은 Teacher의 '그리는 경로'를 따라 배우는 Trajectory 보존 방식과 '결과물의 분포'를 맞추는 분포 매칭 방식으로 나뉘며, 앞쪽은 다양성, 뒤쪽은 선명도에 강하다.
- DMD는 Teacher의 예측과 Student 분포를 따라가는 Fake 점수 모델의 예측 차이를 신호로 Student를 고치며, 이 Fake 모델을 정확히 맞추는 일이 성패를 가른다.
- 텍스트-이미지 생성에서는 분포 매칭 자체보다 CFG에서 오는 항이 Distillation을 실제로 이끈다는 분석이 나와, DMD의 각 부분을 따로 설계하는 흐름이 생겼다.
- 단계를 줄일수록 다양성이 무너지는 문제가 가장 큰 쟁점이고, 노이즈 구간별로 목표를 나누거나 내부 활성값을 되살리는 해법이 나오고 있다.
- 최근에는 강화학습 보상과 Distillation을 한 번에 최적화하거나, 1~2단계, 1.x단계처럼 더 극단적인 단계 수를 노리는 방향으로 가고 있다.
왜 필요했나: 반복해서 지우는 그림의 비용
디퓨전 모델(Diffusion model, 확산 모델)은 순수한 노이즈에서 출발해 노이즈를 조금씩 걷어 내며 그림을 완성한다. 한 번 걷어 낼 때마다 거대한 신경망을 한 번 통째로 돌려야 한다. 이 신경망 호출 횟수를 NFE(Number of Function Evaluations)라고 부르는데, 품질 좋은 이미지를 얻으려면 보통 수십 번이 필요하다. 1.x-Distill논문은 비교 기준으로 원래 모델의 '28×2 NFE' 샘플링을 들었다. 28단계를 밟고, 각 단계에서 신경망을 두 번 호출한다는 뜻이다.
두 번씩 호출하는 이유는 CFG(Classifier-Free Guidance) 때문이다. CFG는 프롬프트를 넣은 예측과 넣지 않은 예측을 함께 계산하고 둘의 차이를 키워, 모델이 프롬프트를 더 충실히 따르게 하는 기법이다. 품질에는 도움이 되지만 계산량은 두 배가 된다. 이미지 한 장에 수십 번, 영상이라면 프레임 수만큼 더 큰 비용이 든다. 실시간 서비스나 기기 안에서 생성하기에는 무겁다.
그래서 많은 단계로 잘 그리는 모델(Teacher 모델)의 능력을 몇 단계만으로 그리는 모델(Student 모델)에 옮기는 스텝 Distillation(지식 증류)이 디퓨전 모델 사후 학습의 핵심 단계가 됐다. 목표는 단순하다. 품질과 다양성을 지키면서 NFE를 한 자릿수, 가능하면 1~2까지 줄이는 것이다.
핵심 아이디어: 길을 배울까, 도착지를 배울까
스텝 Distillation에는 크게 두 갈래가 있다. 산 정상에서 마을까지 내려오는 길로 비유해 보자. 첫째는 Trajectory 보존 방식이다. Teacher가 내려온 길을 그대로 기억해서, Student가 그 길의 지름길을 한 번에 건너뛰도록 가르친다. 일관성(consistency) Distillation이 이 계열이다. 둘째는 분포 매칭 방식이다. 길은 신경 쓰지 않고, Student가 도착한 마을 사진들이 Teacher가 도착한 사진들과 '전체적으로 비슷한 분포'를 이루도록 가르친다. 대표가 DMD(Distribution Matching Distillation)다.
두 방식은 서로 다른 것을 맞바꾼다. CrossDistill논문은 이 긴장을 이렇게 정리했다. Trajectory 기반 방식은 데이터의 여러 모드(서로 다른 결과 유형)를 골고루 덮어 다양성을 지키고, 분포 매칭은 결과를 더 선명하게 만들지만 다양성을 줄일 수 있다. Trajectory-Regularized Distribution Distillation(TRD) 같은 최근 연구도 Trajectory 정렬이 아주 적은 단계 수에서는 성능이 떨어진다고 지적한다. SwiftVideo논문 역시 한쪽 방식만 쓰면 적은 단계에서 성능이 무너지거나 결함이 늘어난다고 봤다.
그래서 실제 연구는 대부분 분포 매칭을 중심에 두고, 그 약점(다양성 붕괴, 학습 불안정)을 다른 장치로 메우는 쪽으로 발전했다. 아래에서는 분포 매칭이 어떻게 작동하는지부터 본다.
두 갈래의 스텝 Distillation
Trajectory 보존Teacher가 간 길을 배우기
- 여러 모드를 골고루 덮어 다양성 유지
- 아주 적은 단계에서는 성능 저하
- 일관성 Distillation 계열
분포 매칭(DMD)도착한 결과의 분포를 맞추기
- 결과가 더 선명함
- 다양성이 줄어들 수 있음
- Fake 점수 모델이 Student를 따라가야 함
공통 둘 다 많은 단계의 Teacher를 몇 단계의 Student로 옮기는 방법
어떻게 작동하나: DMD의 세 모델
DMD는 세 개의 모델이 함께 움직인다. eDMD논문의 설명을 따라 단계별로 보면 다음과 같다. 첫째, Student 생성기가 노이즈에서 몇 단계 만에 이미지를 만든다. 둘째, 이 이미지에 일부러 노이즈를 다시 섞는다. 셋째, 노이즈 섞인 이미지를 두 모델에 보여 준다. 하나는 고정된 Teacher 모델로, '진짜 데이터라면 노이즈를 이 방향으로 걷어 내야 한다'를 알려 준다. 다른 하나는 Fake 점수 모델로, Student가 만든 이미지들로 계속 학습해서 'Student의 분포라면 이 방향'을 알려 준다. 넷째, 두 예측의 차이가 곧 Student를 Teacher 쪽으로 끌어당기는 학습 신호가 된다.
이 설계의 장점은 Teacher가 수십 단계를 실제로 돌린 결과를 미리 대량으로 만들어 둘 필요가 없다는 것이다. Student가 스스로 만든 결과물 위에서 바로 신호를 받는다. 대신 대가가 있다. Fake 점수 모델이 끊임없이 변하는 Student 분포를 정확히 따라가야 한다. VA-TDM논문은 바로 이 점을 약점으로 짚었다. 몇 단계 샘플링의 중간 단계에서는 Student 분포의 점수를 추정하기 어렵고, 흔히 쓰는 추정기가 실제로 Student를 업데이트하는 분포와 다른 분포를 묘사할 수 있다는 것이다.
여기에 CFG가 겹친다. Decoupled DMD논문는 DMD의 학습 목표를 분해해 보니, 텍스트-이미지 생성처럼 CFG가 필요한 과제에서는 분포 매칭이 아니라 'CFG 증강(CFG Augmentation)' 항이 Distillation을 실제로 이끄는 엔진이라고 보고했다. 분포 매칭 항은 학습을 안정시키고 결함을 줄이는 규제(regularizer) 역할을 한다는 것이다. 이 연구는 그 규제 역할이 분포 매칭만의 것도 아니어서, 더 단순한 비모수 제약이나 GAN 기반 목표로 바꿀 수 있지만 각각 다른 장단점이 있다고 밝혔다.
발전 흐름: DMD를 고쳐 쓰는 여러 방향
입력된 연구들은 DMD를 출발점으로 삼아 서로 다른 약점을 고친다. 하이브리드 방향의 이른 예는 영상 쪽 SwiftVideo논문다. 연속 시간 일관성 Distillation으로 Trajectory를 보존하면서, 합성 데이터와 실제 데이터 사이의 분포 정렬과 서로 다른 추론 단계 사이의 Trajectory 정렬을 함께 거는 '이중 관점 정렬'을 제안했고, OpenVid-1M 벤치마크에서 기존 방식보다 낫다고 보고했다. CrossDistill논문은 이 결합을 노이즈 축 위에서 나눴다. 노이즈가 많은 초반 단계는 전체 구도(모드)를 정하고 노이즈가 적은 후반 단계는 세부를 다듬는다는 관찰에 따라, 초반 구간에는 Trajectory 보존 목표를, 후반 구간에는 분포 매칭 목표를 배정했다.
둘째 방향은 강화학습과의 결합이다. DMDR논문은 Distillation과 강화학습(사람 선호에 맞추는 단계)을 따로따로 순서대로 하던 관행을 바꿔 함께 최적화했다. 강화학습은 데이터 분포 전체를 똑같이 압축하는 대신 선호를 반영한 Distillation을 가능하게 하고, DMD는 강화학습 중 보상 해킹(보상 점수만 올리고 실제 품질은 떨어지는 현상)을 막는 규제 역할을 한다는 것이다. DMDR은 몇 단계 생성 방식 가운데 최고 수준의 품질을 냈고, 여러 단계를 쓰는 Teacher 모델까지 넘어섰다고 보고했다. RTDMD논문는 '보상으로 기울인 Teacher 분포'에 맞추는 목표가 분포 매칭 항과 보상 최대화 항으로 자연스럽게 나뉜다는 점을 보이고, SD3·SD3.5·FLUX.2에서 4단계만으로 선호·미감·구성 지표의 최고 수준을 보고했다.
셋째 방향은 극단적인 단계 수다. 1.x-Distill논문은 DMD가 2단계 이하로 줄면 다양성 붕괴와 충실도 저하를 겪는다고 보고, Teacher의 CFG가 모드 붕괴에 하는 역할을 고쳤다. 이어 다양성을 지키는 분포 매칭으로 큰 구조를 먼저 배우고, 적대적 Distillation으로 세부를 다듬는 2단계 전략을 썼다. 블록 단위 캐싱까지 학습에 넣어 SD3-Medium에서 1.67, SD3.5-Large에서 1.74의 유효 NFE를 달성했고, 원래의 28×2 NFE 샘플링보다 최대 33배 빨랐다고 밝혔다. 정수가 아닌 '1.x단계'라는 영역을 연 것이다.
넷째 방향은 이론적 통합이다. VA-TDM논문은 학습된 비평 모델(critic)이 Student와 Teacher의 속도장(velocity field, 노이즈를 걷어 내는 방향)을 비교하고 그 불일치를 학습 신호로 바꾸는 Velocity Adversarial Distillation을 제안했다. 이 틀이 점수 Distillation, Fisher 기반 매칭, 모멘트 매칭을 하나로 묶는다고 주장했고, 텍스트-이미지와 텍스트-영상 모두에서 4단계 기준 최고 성능을 보고했다.
단계 수를 얼마나 줄였나
요즘 어디로 가고 있나
2026년 11월에 나온 연구들은 DMD의 '어디가 정확히 잘못됐나'를 더 세밀하게 진단한다. eDMD논문는 여러 단계 Distillation에서 Fake 모델을 중간 상태나 모든 단계에 걸쳐 학습시키는 관행을 문제 삼았다. 사용자에게 전달되는 것은 마지막 출력뿐인데, 학습 신호가 중간 분포와 얽혀서 최종 출력이 이미 Teacher와 같아져도 신호가 0이 되지 않을 수 있다는 것이다. 그래서 Student의 최종 출력만으로 학습한 Fake 모델 하나를 모든 단계 교정에 함께 쓰고, 이렇게 하면 최종 출력 분포가 Teacher와 같을 때에만 분포 매칭 항이 사라진다는 것을 이론으로 보였다.
ReDiverse 연구논문는 다양성 붕괴의 원인을 모델 내부에서 찾았다. Distill한 Student는 활성값의 전체 분산은 Teacher와 비슷하게 유지하지만, 그 분산을 훨씬 적은 방향에 몰아넣고 있었다. 이 방향 붕괴는 첫 디노이징 단계의 특정 중간 블록에 몰려 있었다. 즉 생성 능력을 잃은 것이 아니라 분산을 잘못 배분한 것이다. 이를 바탕으로 가벼운 어댑터로 Student 활성값을 Teacher 쪽으로 맞추는 학습 방식(ReDiverse-FT)과, 추론 때 Teacher의 주성분 방향으로 활성값을 밀어 주는 학습 없는 방식(ReDiverse-TF)을 제안했고, 이미지·영상 모두에서 품질을 지키며 다양성을 되살렸다고 보고했다.
NitroFusion2논문는 적대적 Distillation의 판별 재료를 바꿨다. 이미지와 텍스트를 함께 처리하는 트랜스포머(MMDiT)에서는 텍스트 토큰의 중간 상태가 이미 이미지를 '읽은' 상태라는 점에 착안해, 이를 판별기의 입력으로 썼다. 그 결과 흔히 4~8단계였던 몇 단계 Distillation을 비슷한 품질로 1~2단계까지 낮췄고, 1단계에서도 글자 렌더링과 세부가 선명하다고 밝혔다. 정리하면 요즘 흐름은 'Fake 모델을 무엇으로 학습할지', '다양성이 어디서 사라지는지', '판별 신호를 어디서 얻을지'처럼 DMD의 부품을 하나씩 다시 설계하는 쪽이다.
한계와 쟁점, 그리고 실무 판단 기준
가장 큰 쟁점은 다양성 붕괴다. ReDiverse 연구논문는 서로 다른 랜덤 시드로 뽑아도 결과가 거의 비슷해지는 현상을 '심각한' 문제로 규정했고, 1.x-Distill논문은 2단계 이하에서 이 문제가 두드러진다고 봤다. 같은 프롬프트로 여러 후보를 뽑아 고르는 서비스라면, 벤치마크의 품질 점수만 보고 Distill한 모델을 도입하면 안 된다. 시드를 바꿔 결과가 실제로 달라지는지 직접 확인해야 한다.
둘째는 학습 신호의 신뢰성이다. Fake 점수 모델이 Student를 제대로 따라가지 못하면 엉뚱한 방향으로 학습된다는 지적이 VA-TDM논문과 eDMD논문에서 반복된다. RTDMD논문도 제한된 업데이트 안에서 Fake 점수 모델이 움직이는 Student 분포를 따라가도록 일관성 규제를 더했다. 학습이 불안정하거나 결함이 생기면 Student보다 먼저 Fake 모델 쪽을 의심하는 것이 순서다.
셋째는 강화학습과 함께 쓸 때의 보상 해킹이다. DMDR논문은 DMD를 보상 해킹을 막는 규제로 쓸 수 있다고 봤지만, 이는 보상 최적화가 Teacher 분포에서 멀어질 위험을 전제로 한 설계다. 선호 점수만 오르는지, 실제 결과물이 나아지는지 사람이 직접 보는 검토가 함께 있어야 한다.
판단 기준을 정리하면 이렇다. 실시간성이나 비용이 중요하고 한 장의 품질이 핵심이면 분포 매칭 중심의 4단계 전후가 무난한 출발점이다. 다양성이 중요하면 Trajectory 보존을 섞은 하이브리드나 다양성 보정 기법을 함께 검토한다. 1~2단계는 연구에서 실용 수준에 들어서고 있지만, 글자 렌더링이나 세부처럼 자기 서비스에 중요한 항목을 따로 확인한 뒤 쓴다. 흔한 실수는 Teacher보다 빠르다는 사실만 보고 CFG에 기댄 효과와 분포 매칭 효과를 구분하지 않는 것이다. Decoupled DMD논문의 분석처럼 두 항은 하는 일이 다르다.
Distill한 모델 도입 전 점검
품질·다양성
- 시드를 바꾸면 결과가 실제로 달라지는가
- 글자·세부 등 핵심 항목을 따로 확인했는가
- 단계 수를 줄였을 때 결함이 늘지 않는가
학습
- Fake 점수 모델이 Student를 잘 따라가는가
- CFG 효과와 분포 매칭 효과를 구분했는가
강화학습 결합
- 보상 점수만 오르는 보상 해킹은 없는가
- 사람이 결과물을 직접 검토하는가
더 공부하려면
원리부터 잡으려면 Decoupled DMD논문를 먼저 읽기를 권한다. DMD의 학습 목표를 엔진(CFG 증강)과 방패(분포 매칭)로 나눠 보여 주기 때문에, 이후 연구들이 왜 그 부분을 고치는지 이해하기 쉬워진다. 이어 eDMD논문의 도입부는 Teacher·Fake·Student 세 모델의 관계를 짧게 정리해 두어 작동 구조를 복습하기 좋다.
다양성과 품질의 맞바꿈에 관심이 있다면 CrossDistill논문과 ReDiverse 연구논문를 함께 읽는다. 앞쪽은 노이즈 구간이라는 바깥 축에서, 뒤쪽은 모델 내부 활성값에서 같은 문제를 다룬다. 극단적인 단계 수에 관심이 있다면 1.x-Distill논문과 NitroFusion2논문를 비교해 보면 된다.
선호 정렬까지 한 번에 하려면 DMDR논문과 RTDMD논문를 차례로 읽는다. 영상 생성에 적용하려면 SwiftVideo논문와 VA-TDM논문이 이미지 기법을 영상으로 넓힌 사례를 보여 준다.
관련 용어
참고 문헌
핵심 논문
- Decoupled DMD: CFG Augmentation as the Spear, Distribution Matching as the Shield (2025)
- 1.x-Distill: Breaking the Diversity, Quality, and Efficiency Barrier in Distribution Matching Distillation (2026)
- CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation (2026)
- SwiftVideo: A Unified Framework for Few-Step Video Generation through Trajectory-Distribution Alignment (2025)
- Distribution Matching Distillation Meets Reinforcement Learning (2025)
- Reinforcing Few-step Generators via Reward-Tilted Distribution Matching (2026)
- VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation (2026)
최근 연구
AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.