IDM: 생성기 자체 특징의 모멘트 매칭을 더한 Few-step 이미지 생성 Distillation

문제

1~몇 스텝 텍스트-이미지 생성은 다듬을 기회가 적어 프롬프트의 세부(특히 긴 글자)를 정확히 그리기 어렵다. DMD는 학습된 score 추정에 의존하는데, 추정 오차와 유한한 학습 때문에 분포 통계가 완전히 맞춰지지 않을 수 있다.

방법

Reverse-KL 기울기 장을 평균·공분산으로 정해지는 가우시안 모멘트 성분과 나머지 비가우시안 잔차로 분해해, 명시적으로 제약할 수 있는 통계를 찾았다. 이를 바탕으로 IDM은 생성기 내부 velocity 브랜치로 계산한 DMD 보정을 그대로 유지하고(별도 fake-score 네트워크 없음), 생성기 EMA 사본의 마지막 층 Hidden Representation을 평균 풀링한 특징에서 생성 샘플과 참조 샘플의 평균·좌표별 표준편차를 맞추는 손실을 더한다. 외부 특징 인코더나 판별기는 쓰지 않는다. Z-Image-Turbo 6B와 Qwen-Image 20B에서 전체 파라미터 학습과 LoRA로 실험했다.

결과

• 2 NFE의 Z-Image-Turbo 기반 IDM이 LongText-Bench 중국어 94.25%, 영어 90.20%로, 같은 연산 예산의 비교 방법 중 가장 높았다고 저자들은 보고했다.
• 같은 조건에서 Z-Image-Turbo++보다 중국어 2.63%p, 영어 0.32%p 높다.
• 통제된 Ablation에서 모멘트 손실을 추가하면 성능이 오른다고 보고했다.
• 보고된 5개 지표에서 생성기 EMA 특징이 외부 DINOv2 인코더와 비슷한 성능을 냈다.

한계

저자들도 밝히듯 모멘트(평균·분산)만으로는 분포 전체를 정할 수 없어 DMD 보정을 함께 써야 하며, 모멘트 손실은 이론적 분해를 직접 추정한 것이 아니라 그 분해에서 착안한 보조 목적함수다. 대각 표준편차만 맞추고 공분산 전체는 다루지 않는다. 핵심 지표가 긴 텍스트 렌더링 벤치마크에 집중되어 있고, 영어에서는 개선 폭(0.32%p)이 작다. 실험 백본도 두 계열(6B·20B)에 한정된다.

의미

외부 인코더 없이 생성기 자기 특징만으로 분포 통계를 맞추는 방식이라, 대형 이미지 모델을 몇 스텝 생성기로 Distill할 때 추가 모델 부담 없이 품질을 보강하는 실용적인 방법이 될 수 있다.

핵심 용어

DMD(Distribution Matching Distillation)

Teacher가 주는 참조 분포의 score와 생성 분포의 score 차이를 이용해, 빠른 생성기의 출력 분포를 참조 분포에 맞추는 Distillation 기법이다.

NFE(Number of Function Evaluations)

이미지 하나를 만들 때 네트워크를 몇 번 실행하는지를 뜻한다. 작을수록 추론이 빠르다.

EMA(지수 이동 평균) 사본

학습 중 파라미터의 지수 이동 평균으로 유지하는 모델 복사본이다. IDM은 이 사본을 특징 추출기로 쓴다.

모멘트 매칭

두 분포의 평균·분산 같은 통계량이 같아지도록 학습하는 방식이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Deyuan Liu, Yansen Han, Kaiwen Zheng, Jun Xie, Jiacheng Liu, Zhenglin Cheng, Peng Sun, Jintao Zhang, 외 · 게시 2026-10-29 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.