논문 리뷰 · 2026년 11월 7일

WeLM-Image: 시각 지능을 향한 통합 이미지 생성 모델

WeLM-Image: A Unified Image Generation Model towards Visual Intelligence

이해·생성 경로를 분리한 MoT–MoE 백본과 강화학습·Distillation으로 생성·편집·다중 참조 합성을 한 모델에 담아, 단일 GPU 배포가 가능한 이미지 생성 모델을 만들었다.

문제

이미지 생성·편집 모델에는 긴 중·영 프롬프트 이해, 정확한 문자 렌더링, 정체성을 유지하는 편집, 여러 참조 이미지 조합 같은 세밀한 제어가 필요하다. 또 위챗 같은 대규모 소비자 서비스에서는 단일 GPU 배포와 낮은 요청당 비용이 필수 제약이다.

방법

텍스트·참조 이미지·목표 latent를 하나의 interleaved 시퀀스로 처리한다. 이해(UND) 경로와 생성(GEN) 경로가 별도 파라미터를 갖고 attention만 공유하는 MoT(Mixture-of-Transformers) 구조에, 경로별 MoE를 붙였다. 저장 파라미터는 31.7B, 목표 latent 토큰당 활성 생성 파라미터는 약 5.4B다. 재구성·의미 정렬·문자 중심 디코더 파인튜닝으로 VAE를 따로 학습했다. 지식 기반 시각 어휘와 대규모 클러스터링으로 데이터를 구성하고 1.5K 해상도까지 점진 학습했다. 생성과 편집을 루브릭·체크리스트 보상으로 따로 강화학습한 뒤, 노이즈 인지 On-policy Distillation으로 하나로 합쳤다. MeanFlow 기반 소수 스텝 Distillation으로 Turbo 버전도 만들었다.

결과

저자들은 1536 해상도 모델이 PRISM-Bench, Qwen-Image-Bench, UnicBench 종합 비교에서 평가한 오픈소스 모델 중 1위라고 보고했다.
WeLM-Image-Turbo는 NVIDIA H20 단일 GPU에서 1024×1024 이미지를 가이던스 없이 8스텝, 4.98초에 생성한다. CFG를 쓰는 50스텝 기본 모델보다 11.4배 빠르다.
Turbo는 입력 이미지 1~4장 편집을 6.78~13.17초에 처리한다.
WeLM-Image-VAE는 COCO 512 PSNR 34.89로 FLUX.2-VAE(34.61), Qwen-VAE(33.60)보다 높았다. ImageNet 256 생성 실험에서도 16채널 VAE 중 가장 낮은 FID 12.21(Qwen-VAE 15.29)과 가장 높은 IS 97.96을 기록했다.

한계

벤치마크 순위는 평가한 오픈소스 모델 사이의 비교이고, 제공된 본문에는 벤치마크별 세부 점수가 일부만 있다. WeGenEditBench와 포스터 재구성 세트는 사내 평가셋이다. 생성 FID는 32채널 FLUX.2-VAE(9.87)보다 높다. 속도는 H20 GPU 한 종에서만 측정했다.

의미

대규모 서비스에서 실제로 돌릴 수 있는 비용 제약 안에서 생성·편집·다중 참조를 한 모델로 통합한 설계와 데이터·학습 과정을 자세히 공개했다. 이미지 생성 서비스를 만드는 팀에 참고가 된다.

핵심 용어

MoT(Mixture-of-Transformers): 모달리티나 과제별로 별도 파라미터 경로를 두되 attention은 공유해, 서로 간섭은 줄이고 정보 교환은 유지하는 구조다.
MoE: 여러 전문가 FFN 중 일부만 토큰마다 골라 활성화해, 계산량은 적게 유지하면서 모델 용량을 키우는 방식이다.
On-policy Distillation: Student 모델이 직접 생성한 샘플 위에서 Teacher 모델의 예측을 따라 배우도록 하는 지식 이전 방식이다.
MeanFlow: 흐름의 평균 속도를 학습해 적은 샘플링 스텝으로 이미지를 생성할 수 있게 하는 소수 스텝 생성 기법이다.

원문

저자: Canmiao Fu, Chen Li, Guohui Zhang, Hao Lu, Hongyang Wei, Huadong Wu, Huaisong Zhang, Hubery Yin, 외 · 게시 2026-11-05 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.