논문 리뷰 · 2026년 10월 13일

DiffusionART: 효율적이고 안정적이며 확장 가능한 확산 모델 강화학습

DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models

프롬프트별 보상을 하나의 개선 방향으로 모으고 드리프트에 맞춰 복원하는 업데이트를 추가해, EMA 튜닝 없이 확산 모델 강화학습을 효율적이고 안정적으로 만들었다.

문제

블랙박스 보상으로 확산 모델을 파인튜닝하는 온라인 강화학습에는 두 계열이 있다. Flow-GRPO 같은 역과정 방법은 크레딧 할당이 부정확해 효율이 낮다. DiffusionNFT 같은 순과정 방법은 효율은 높지만, 과제마다 튜닝한 EMA Off-policy 학습이 없으면 학습이 불안정하다.

방법

저자들은 먼저 NFT 계열 목적함수 안에 숨은 '순방향-역방향 일관성 힘'이 있다고 분석했다. 긍정·부정 분기를 함께 학습하면 이 힘은 일부만 상쇄된다. 또 EMA가 안정화에 기여하는 이유는 Off-policy Rollout이 아니라 지연된 기준점으로 되돌리는 복원(restoration) 효과라고 밝혔다. 이를 바탕으로 DiffusionART는 두 가지를 더한다. (1) 프롬프트별 샘플과 보상을 공유 보상 개선 방향 G(c)로 집계하고, 역과정 Rollout에서 방문한 상태의 속도를 이 방향의 목표로 회귀시켜 일관성 힘을 구조적으로 없앤다. (2) Trust-region 마스크를 건 두 번째 업데이트로 상태별 드리프트에 비례하는 복원을 넣어 EMA를 대체한다. 미분 가능한 보상 모델이 필요 없고, 쌍대 비교 보상 모델도 지원한다(DiffusionART-Pairwise).

결과

HunyuanVideo-13B에서 시각 품질(VQ)과 모션 품질(MQ) 보상을 1:1로 가중했을 때, DiffusionNFT와 Flow-GRPO-Fast의 후반부 평균 보상에 각각 12.02배, 11.72배 적은 GPU 시간으로 도달했다.
같은 설정에서 평균 학습 보상이 DiffusionNFT보다 28.8%, Flow-GRPO-Fast보다 53.0% 높았다고 저자들은 보고했다.
이미지-투-비디오 생성에서 MQ 6에 도달하는 데 필요한 GPU 시간이 Flow-GRPO-Fast보다 4.8배 적었다.
SD3.5-M에서는 EMA나 과제별 튜닝 없이 가장 강한 기준선과 같은 수준의 효율을 냈다.
분석 실험에서 EMA 없이 NFT를 롤아웃당 두 번 업데이트하면 붕괴는 피했지만 학습이 15.2배 느려졌다. 저자들은 이를 복원이 핵심 안정화 요인이라는 근거로 제시했다.

한계

주요 수치는 학습 중 평균 보상 기준이어서, 독립 평가 지표로 본 품질 향상은 본문 발췌 범위에서 확인하기 어렵다. 분석 대상은 선형 보간을 쓰는 rectified flow 모델이다. 복원이 그래디언트 집계에서 우세해지는 현상에 대한 상세 분석은 저자들이 후속 연구로 남겼다.

의미

이미지·영상 생성 모델을 사람 선호나 품질 보상에 맞춰 강화학습할 때, 과제마다 하던 EMA 튜닝을 줄이고 GPU 비용을 크게 낮출 수 있다는 점에서 대규모 영상 모델 후처리 학습에 실용적이다.

핵심 용어

Flow-GRPO / DiffusionNFT: 확산 모델 강화학습의 두 계열이다. Flow-GRPO는 디노이징 전이 확률을 최적화하는 역과정 방식이고, DiffusionNFT는 생성 결과에 노이즈를 다시 입혀 보상 가중 회귀를 하는 순과정 방식이다.
EMA(지수이동평균) Rollout 정책: 학습 중인 모델 파라미터를 천천히 따라가는 평균 모델로 샘플을 생성하는 기법이다. 이 논문은 EMA의 안정화 효과가 이 평균 모델로 되돌아가려는 복원 힘에서 나온다고 분석했다.
크레딧 할당(Credit Assignment): 최종 결과에만 주어지는 보상을 중간 단계(여기서는 각 디노이징 단계)의 기여도로 나누어 배분하는 문제다.
Trust-region: 한 번의 업데이트로 정책이 기존 정책에서 너무 멀리 벗어나지 않도록 변화 폭을 제한하는 장치다.

원문

저자: Zhenglin Wan, Jiayu Chen, Zhengfeiyang Zhang, Pengfei Zhou, Wangbo Zhao, Fangyuan Kong, Pengfei Wan, Kun Gai, 외 · 게시 2026-10-08 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.