디퓨전과 플로 매칭: 노이즈에서 그림을 꺼내는 두 갈래 길

왜 필요했나: 기존 생성 모델의 벽

이미지 생성 모델은 디퓨전 이전에도 여러 갈래가 있었다. GAN(생성적 적대 신경망), 자기회귀 모델, VAE, 정규화 흐름(flow) 등이 그럴듯한 이미지와 소리를 만들어 냈다고 DDPM논문은 서론에서 정리한다. 그런데 잠재 디퓨전 논문논문이 짚었듯 GAN은 적대적 학습이 복잡하고 다양한 분포로 잘 확장되지 않아 비교적 변화가 적은 데이터에 성과가 몰렸고, 모드 붕괴(한두 가지 모양만 반복해 만드는 현상)와 학습 불안정 문제가 있었다. 자기회귀 트랜스포머는 고해상도 장면을 다루려면 수십억 개 파라미터 규모로 키워야 했다.

디퓨전 모델은 이 틈에서 등장했다. 정의가 단순하고 학습이 효율적이지만, DDPM 이전에는 고품질 이미지를 만들 수 있다는 시연이 없었다. DDPM은 이 모델이 실제로 다른 생성 모델에 견줄 만한, 때로는 더 나은 표본을 만든다는 것을 보였다.

하지만 곧 새 벽이 드러났다. 잠재 디퓨전 논문에 따르면 가장 강력한 디퓨전 모델 학습에는 150~1000 V100 GPU일이 들었고, 같은 신경망을 25~1000번 차례로 돌려야 해서 A100 한 장으로 5만 장을 만드는 데 약 5일이 걸렸다. 이후 연구의 상당수는 '품질은 유지하면서 이 비용을 어떻게 줄이나'라는 질문에 대한 답이다. 플로 매칭도 그 질문에 대한, 조금 다른 각도의 답이다.

핵심 아이디어: 번지는 잉크를 거꾸로 돌리기

디퓨전의 비유로는 맑은 물에 떨어뜨린 잉크가 쓸 만하다. 잉크는 시간이 지나면 고르게 번져 원래 모양을 알 수 없게 된다. 이 '번지는 과정'은 규칙이 정해져 있어 누구나 흉내 낼 수 있다. 디퓨전 모델은 반대로, 다 번진 상태에서 한 걸음씩 거꾸로 돌려 원래 잉크 방울 모양을 되찾는 법을 배운다. 이미지로 바꿔 말하면, 사진에 가우스 노이즈를 조금씩 섞어 결국 완전한 잡음으로 만드는 과정이 '정방향', 그 잡음에서 노이즈를 조금씩 걷어 내 사진을 만드는 과정이 '역방향'이다. 학습하는 것은 역방향 쪽뿐이다.

플로 매칭은 같은 목적지를 다른 방식으로 설명한다. 노이즈 공간의 한 점이 데이터 공간의 한 점으로 옮겨 가는 길이 있다고 보고, 그 길 위 모든 지점에서 '지금 어느 방향으로 얼마나 빨리 움직여야 하는가'를 알려 주는 화살표 지도, 곧 속도장(벡터장)을 배운다. 지도를 갖고 있으면 출발점에서 화살표를 따라 조금씩 움직이기만 하면 데이터에 도착한다. 이 '화살표를 따라가는 계산'이 상미분방정식(ODE)을 푸는 일이고, 기성 ODE 솔버를 그대로 쓸 수 있다.

두 관점은 경쟁자라기보다 포함 관계에 가깝다. 플로 매칭 논문논문은 자신이 다루는 가우스 확률 경로 계열이 기존 디퓨전 경로를 특수한 경우로 포함한다고 밝혔다. 즉 디퓨전은 '여러 가능한 길 가운데 하나'이고, 플로 매칭은 길 자체를 고를 수 있게 해 준다. 그래서 더 곧은 길(최적 수송 경로)을 고르면 같은 목적지에 더 적은 걸음으로 갈 수 있다는 것이 핵심 동기다.

어떻게 작동하나: 학습과 생성의 단계

학습은 다음 순서로 돈다. 첫째, 학습 데이터에서 깨끗한 이미지 한 장을 고른다. 둘째, 임의의 시점 t를 하나 뽑는다. 셋째, 그 시점에 해당하는 만큼 노이즈를 섞는다. DDPM논문이 짚은 정방향 과정의 중요한 성질은, 처음부터 t번 노이즈를 차례로 섞지 않아도 임의 시점의 노이즈 낀 이미지를 한 번에 닫힌 식으로 만들 수 있다는 점이다. 덕분에 시점을 무작위로 뽑아 확률적 경사 하강법으로 효율적으로 학습할 수 있다. 넷째, 신경망(디노이저)에게 노이즈 낀 이미지와 시점을 주고 무엇을 걷어 내야 하는지 맞히게 한다. DDPM은 특정 매개변수화를 택하면 이 학습이 여러 노이즈 수준에 걸친 디노이징 스코어 매칭과 같아지고, 생성 과정은 랑주뱅 동역학(노이즈를 섞으며 조금씩 확률이 높은 쪽으로 움직이는 방법)과 닮게 된다는 연결을 보였고, 이 방식에서 가장 좋은 품질을 얻었다.

플로 매칭논문의 학습도 구조가 비슷하다. 노이즈와 데이터 사이에 미리 정해 둔 조건부 확률 경로 위에서 한 지점을 뽑고, 그 지점에서의 목표 속도를 신경망이 회귀로 맞히게 한다. 논문은 이를 '시뮬레이션이 필요 없는(simulation-free)' 학습이라 부른다. 학습 중에 ODE를 실제로 풀어 Trajectory를 따라가 볼 필요 없이, 경로 위 한 점만 보고 바로 정답 속도를 계산할 수 있기 때문이다.

생성은 거꾸로 간다. 순수한 가우스 노이즈에서 출발해 학습된 신경망을 반복해서 호출하며 한 걸음씩 데이터 쪽으로 옮긴다. 디퓨전이면 걸음마다 노이즈를 조금 걷어 내고, 플로 매칭이면 걸음마다 속도장을 따라 이동한다. 걸음 하나가 곧 큰 신경망 한 번 통과이므로, 걸음 수가 곧 생성 비용이다.

실제 시스템에는 두 가지가 더 붙는다. 하나는 잠재 공간이다. 잠재 디퓨전논문은 먼저 오토인코더로 이미지를 지각적으로는 같지만 차원이 낮은 공간으로 압축하고, 그 안에서 디퓨전을 돌린 뒤 마지막에 디코더로 이미지를 되살린다. 다른 하나는 조건 입력이다. 같은 논문은 교차 어텐션 층을 넣어 텍스트나 바운딩 박스 같은 조건을 받아 생성하도록 했다. 디노이저의 뼈대는 처음엔 U-Net이었고, DiT논문가 이를 잠재 패치 위에서 작동하는 트랜스포머로 바꿨다.

발전 흐름: 출발점 논문 네 편이 각각 더한 것

DDPM2020 논문은 디퓨전 모델이 고품질 이미지를 만들 수 있다는 것을 처음 분명히 보였다. 조건 없는 CIFAR10에서 Inception 점수 9.46, FID 3.17을 기록했고, 256×256 LSUN에서는 ProgressiveGAN과 비슷한 표본 품질을 냈다. 또 디퓨전과 디노이징 스코어 매칭·랑주뱅 동역학 사이의 등가성을 주요 기여로 꼽았다. 동시에 한계도 스스로 밝혔다. 로그 가능도(데이터를 얼마나 그럴듯하게 설명하는지의 지표)는 다른 가능도 기반 모델에 못 미쳤고, 무손실 부호 길이의 대부분이 눈에 보이지 않는 미세한 디테일을 묘사하는 데 쓰였다.

잠재 디퓨전2021 논문은 바로 그 '보이지 않는 디테일에 낭비되는 계산'을 겨냥했다. 논문은 학습을 지각적 압축(고주파 디테일 제거)과 의미적 압축(내용·구성 학습) 두 단계로 나눠 보고, 앞 단계는 오토인코더에 맡기고 디퓨전은 뒤 단계에 집중하게 했다. 오토인코더는 한 번만 학습해 여러 디퓨전 모델에 재사용할 수 있다. 교차 어텐션으로 텍스트 등 일반적인 조건을 받게 해 텍스트-이미지 생성의 기본 틀을 만들었고, 픽셀 기반 디퓨전보다 계산 요구를 크게 줄이면서 인페인팅 등에서 높은 성능을 냈다.

플로 매칭2022 논문은 학습 목표 자체를 새로 짰다. 연속 정규화 흐름(CNF, 연속적인 변환으로 단순한 분포를 데이터 분포로 바꾸는 모델)을 시뮬레이션 없이, 고정된 조건부 확률 경로의 벡터장을 회귀하는 방식으로 대규모 학습할 수 있게 했다. 디퓨전 경로로 플로 매칭을 하면 디퓨전 모델을 더 안정적으로 학습할 수 있었고, 최적 수송(OT) 변위 보간으로 정한 경로는 디퓨전 경로보다 효율적이어서 학습과 생성이 빠르고 일반화도 좋았다. ImageNet에서 가능도와 표본 품질 모두 디퓨전 기반 대안보다 꾸준히 나았다고 보고했다.

DiT2022 논문는 뼈대를 바꿨다. 잠재 디퓨전의 U-Net 자리에 잠재 패치를 토큰처럼 다루는 트랜스포머를 넣고, 깊이·폭을 키우거나 입력 토큰 수를 늘려 연산량(Gflops)이 커질수록 FID가 꾸준히 낮아진다는 확장성을 보였다. 가장 큰 DiT-XL/2는 클래스 조건 ImageNet 256×256에서 FID 2.27을 기록했다. 이로써 이미지 생성에서도 '트랜스포머를 키우면 좋아진다'는 스케일링 법칙식 사고가 통한다는 근거가 생겼다.

요즘 어디로 가고 있나: 빠르게, 원하는 쪽으로, 더 깊게

첫째 방향은 속도다. SoftCache논문는 디퓨전·플로 모델에서 매 걸음의 큰 신경망 통과가 생성 비용을 좌우한다는 점에서 출발한다. 기존의 학습 없는 캐싱 방법은 최근 계산 결과(활성값)를 재사용하다가, 값싼 신호가 임계값을 넘으면 새로 계산하는 '켜고 끄는' 방식이었다. 이 연구는 신호가 임계값에서 얼마나 떨어져 있는지(여유분)가 재사용 오차를 예측한다는 점에 주목해, 여유가 클 때는 정해진 걸음 여러 개를 건너뛰고 새 계산이 가까워지면 보폭을 줄이는 '부드러운 캐싱'을 제안했다. 이미지용 FLUX와 영상용 HunyuanVideo·Wan2.1에서 3.5~6.9배 속도 향상 구간에서도 네 가지 충실도 지표 모두 비교 대상보다 앞섰다고 보고했다. 추가 학습이 필요 없다는 점이 실무적으로 중요하다.

둘째 방향은 원하는 결과 쪽으로 모델을 미세조정하는 일이다. Weighted Adjoint Matching논문은 미분 가능한 보상이 있을 때 사전학습된 디퓨전·플로 매칭 모델을 파인튜닝하는 방법이다. 기존 Adjoint Matching이 파인튜닝을 이차 제어 비용을 가진 확률적 최적 제어 문제로 본 데서 나아가, 이 모델들이 거친 특징을 먼저 만들고 세부를 나중에 만든다는 관찰을 활용한다. 생성 초반에는 제어 비용을 높게 둬 의미를 담는 거친 특징의 다양성을 지키고, 막바지에는 비용을 낮춰 세부를 다듬으며 보상을 올린다. 논문은 이것이 시간에 따라 달라지는 KL 정규화 아래 보상을 최대화하는 것과 같음을 증명했고, 가우스 혼합과 MNIST 실험에서 보상과 모드 균형 사이의 절충이 더 낫다고 보고했다. 실험 규모가 작다는 점은 감안해야 한다.

셋째 방향은 '걸음 수를 늘리면 더 깊이 생각하는가'라는 이론적 질문이다. 자기 조건화 연구논문는 이미지를 생성해 시각 추론 문제를 푸는 흐름에서, 걸음 하나가 추론 한 단계처럼 보인다는 직관이 틀릴 수 있다고 지적한다. 출력이 몇 가지 완만한 조건을 만족하면 기본 플로 매칭 샘플러의 Trajectory는 상수 번의 병렬 평가 라운드로 흉내 낼 수 있어서, 걸음을 늘려도 깊이가 고정된 뼈대 모델의 표현력은 커지지 않는다는 것이다. 반면 앞 걸음이 추정한 최종 이미지를 다음 걸음의 입력으로 넣는 자기 조건화를 쓰면 이 병목이 풀리고, 실험에서도 정확도와 추론 깊이가 높아지며 걸음 수를 늘릴수록 성능이 좋아졌다. 논문은 '걸음 사이에 더 많은 정보를 넘기라'는 설계 원칙을 제안한다.

한계와 쟁점

가장 근본적인 한계는 여전히 반복 생성의 비용이다. 잠재 공간, 더 곧은 경로, 캐싱이 모두 이 비용을 줄였지만 '큰 신경망을 여러 번 통과한다'는 구조 자체는 남아 있다. SoftCache논문 같은 학습 없는 가속은 정해진 걸음 격자를 벗어나 건너뛰는 만큼, 어떤 모델과 설정에서 품질이 버티는지는 계속 확인해야 한다.

둘째는 지표와 실제 품질의 거리다. DDPM논문은 표본 품질은 좋지만 로그 가능도는 경쟁력이 없다고 밝혔고, 그 이유로 부호 길이 대부분이 눈에 보이지 않는 디테일에 쓰인다는 점을 들었다. FID 같은 수치는 연구 간 비교에 유용하지만, 특정 데이터셋·해상도에서의 값이므로 실제 서비스 품질로 바로 옮겨 읽으면 안 된다.

셋째는 제어와 다양성의 줄다리기다. 보상으로 파인튜닝하면 원하는 방향으로는 좋아지지만 결과가 한쪽으로 쏠릴 수 있다. Weighted Adjoint Matching논문이 '모드 균형'을 따로 측정한 것도 이 때문이다. 시점마다 무엇을 얼마나 바꿀지가 설계의 핵심 변수가 된다.

넷째는 '반복 = 추론'이라는 직관에 대한 경계다. 자기 조건화 연구논문가 보였듯 걸음 수를 늘리는 것만으로 모델이 더 깊은 계산을 하게 되지는 않는다. 생성 모델을 추론 도구로 쓰려면 걸음 사이에 무엇을 넘길지 구조를 설계해야 한다는 뜻이며, 이는 테스트 타임 컴퓨트를 어떻게 써야 하는가라는 더 넓은 질문과도 맞닿아 있다.

더 공부하려면

처음이라면 DDPM논문부터 읽는 것이 좋다. 서론과 2장만으로도 정방향·역방향 과정, 임의 시점의 노이즈 낀 이미지를 한 번에 만드는 닫힌 식, 학습 목표가 어떻게 단순해지는지를 잡을 수 있다. 수식이 부담되면 그림 2(그래프 모형)와 3장의 '디노이징 오토인코더와의 연결' 부분을 중심으로 읽는다.

다음은 잠재 디퓨전논문이다. 서론의 그림 2(지각적 압축과 의미적 압축)가 '왜 잠재 공간인가'를 가장 직관적으로 설명한다. 오늘날 텍스트-이미지 생성 시스템의 기본 골격(오토인코더 + 디퓨전 + 교차 어텐션 조건)이 여기서 나온다.

그다음 플로 매칭논문으로 넘어가 '경로를 고른다'는 관점과 최적 수송 경로의 장점을 익히고, DiT논문로 뼈대가 트랜스포머로 바뀐 이유와 확장성 분석을 본다. 이 네 편을 읽고 나면 최근 연구 가운데 실무 관심이면 SoftCache논문, 파인튜닝 관심이면 Weighted Adjoint Matching논문, 이론 관심이면 자기 조건화 연구논문를 이어 읽으면 된다.