LOWN: 필요할 때만 이미지를 보는 확산형 VLM 디코딩

문제

확산형 비전-언어 모델(DVLM)은 디노이징 스텝마다 입력 전체를 다시 처리하는데, 입력의 89~97%가 시각 토큰이다. 시각 토큰 Pruning은 정보를 잃으면서도 남은 이미지를 매 스텝 처리한다. 저자들이 측정해 보니 이미지를 빼도 언마스킹되는 토큰이 바뀌는 스텝은 평균 22.8%뿐이었다.

방법

마지막 FULL(이미지 포함) Forward의 top-1 예측과 신뢰도를 Anchor로 저장한다. 매 스텝 저렴한 TEXT-ONLY Forward를 돌려, 신뢰도 순으로 Anchor 예측과 일치하는 가장 긴 앞부분을 '인증'한다. 인증된 토큰이 기본 언마스킹 개수 k 이상이면 FULL Forward 없이 인증된 토큰을 모두 언마스킹한다. 부족하면 FULL Forward를 실행해 Anchor를 갱신하고, 두 예측이 다른 위치부터 k개를 언마스킹한다. 학습이나 임계값 조정이 필요 없고, Pruning·KV 캐시와 함께 쓸 수 있다.

결과

• LLaDA-V에서 10개 벤치마크 평균 기준선 점수의 99.6%를 디코딩 FLOPs 0.353배로 유지했다.
• FLOPs를 맞춘 비교에서 RedVTP 93.0%, ZOO-Prune 94.2%, KLASS 91.9%보다 높았고, 10개 중 8개 벤치마크에서 최고 점수를 냈다.
• KV 캐시나 시각 토큰 Pruning과 결합하면 상대 방법의 FLOPs를 1.8~2.5배 더 줄였고, KV 캐시와 함께 쓰면 기본 모델보다 5.6~7.0배 빠르게 디코딩했다.
• 이미지가 필요한 스텝 비율은 MMBench 7.9%에서 DocVQA 43.8%까지 벤치마크마다 달라, 고정 스케줄보다 적응형 판단이 필요함을 보였다.
• LaViDa와 비디오 모델 VidLaDA에도 같은 규칙이 적용되었다.

한계

TEXT-ONLY 스텝에서 언마스킹된 토큰의 2.2~4.7%는 새 FULL Forward를 하면 뒤집혀, 근사 오류가 남는다. 일부 벤치마크에서는 점수가 떨어졌다(MathVista 59.10→56.00, MME 1719.49→1655.08). 효율은 주로 분석적 FLOPs로 보고했고, 기본 실험은 배치 크기 1·Greedy 디코딩이다. 대상 모델은 LLaDA 계열 DVLM에 한정된다.

의미

이미지가 실제로 필요한 순간에만 비싼 연산을 하는 발상으로, 학습 없이 확산형 멀티모달 모델의 추론 비용을 크게 줄일 수 있다. 기존 Pruning·캐시와도 함께 쓸 수 있다.

핵심 용어

확산형 VLM(DVLM)

응답을 왼쪽부터 한 토큰씩 만들지 않고, 마스킹된 응답을 여러 디노이징 스텝에 걸쳐 병렬로 채워 가는 비전-언어 모델이다.

시각 토큰 Pruning

모델이 처리하는 이미지 토큰 일부를 제거해 연산을 줄이는 기법이다. 제거된 정보는 잃는다.

Anchor와 인증(Certificate)

LOWN은 마지막 이미지 포함 예측(Anchor)과 현재 텍스트 전용 예측이 일치하는 토큰을 '이미지 없이도 믿을 수 있다'고 보고 재사용한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Donghyeon Cho, Joowon Kim, Seungho Shin, Eunho Yang · 게시 2026-10-27 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.