논문 리뷰 · 2026년 11월 12일
dNaViT: 이산 코드를 범용 시각 Representation으로
dNaViT: Discrete Codes are General-Purpose Visual Representations
고정된 비전 인코더에 Residual Modulation과 Grouped Product Quantization을 더해, 하나의 이산 어휘로 이해·생성·편집·복원을 모두 처리하는 시각 토크나이저를 만들었다.
문제
언어 모델은 이산 토큰과 다음 토큰 예측으로 통일되어 있다. 반면 멀티모달 모델은 이해용 의미 특징과 생성용 복원 latent를 따로 쓴다. 시각 신호를 유한한 이산 어휘로 바꾸면 정보 병목이 생긴다. 고수준 의미와 픽셀 세부를 한 병목에 함께 담기도 어렵다.
방법
고정된 사전학습 네이티브 해상도 비전 인코더 위에 ResMod(Residual Modulator)를 얹는다. ResMod는 여러 깊이의 중간 특징을 융합해 최종 의미 특징에 scale·shift 잔차를 더한다. 0으로 초기화해 처음에는 원래 특징이 그대로 유지된다. 이어 채널을 G개 그룹으로 나눠 그룹별 코드북으로 양자화(Grouped Product Quantization)한다. 공간 시퀀스 길이를 늘리지 않고도 표현 용량을 키울 수 있다. 의미 특징 복원과 픽셀 복원의 이중 분기 손실로 학습하며, 연속 초기화 → 이산 특징 정렬 → 공동 최적화의 3단계로 진행한다.
결과
- 공간 다운샘플링 32배에서 512×512 해상도 복원 PSNR 28.12dB, SSIM 0.81.
- Qwen3-8B와 결합했을 때 기존 이산 기준선들을 넘고, 문서·추론 벤치마크에서 Qwen3-VL-8B에 근접. OCRBench 885점.
- 생성 GenEval2 49.5. 편집 Qwen-Image-Bench 52.2로 오픈 웨이트 기준선보다 높음.
- 저자들은 12개 이해, 4개 생성, 1개 편집 벤치마크에서 과제별 기준선과 비슷하거나 더 낫고, 비교 모델보다 적은 학습 데이터로 이를 달성했다고 보고했다.
한계
제공된 본문 범위에서는 학습 데이터 규모와 비교 모델별 세부 조건을 충분히 확인하기 어렵다. 그룹 수 G를 늘리면 예측할 코드 인덱스가 늘어 생성 모델링 부담이 커진다고 저자들이 언급했다. 코드 용량이 크다고 복원 품질이 보장되지는 않는다. 백본 인코더와 언어 모델(Qwen3-8B) 조합 외의 일반성은 검증 범위 밖이다.
의미
이미지를 언어처럼 이산 토큰으로 다루면, 이해와 생성을 하나의 다음 토큰 예측 모델로 통합할 수 있다. 그러면 언어 모델의 학습 인프라와 방법론을 그대로 재사용할 수 있다. 네이티브 멀티모달 모델을 설계하는 팀에 중요한 구성 요소다.
핵심 용어
- 시각 토크나이저(Visual Tokenizer)
- 이미지를 코드북 인덱스 시퀀스로 바꾸고, 다시 이미지로 복원하는 모듈이다. 언어 모델이 이미지를 텍스트 토큰처럼 다루게 해 준다.
- Grouped Product Quantization
- 특징 벡터를 여러 그룹으로 나눠 그룹마다 별도 코드북으로 양자화하는 방법이다. 코드북 K개 × 그룹 G개면 K^G 조합을 표현할 수 있다.
- Residual Modulation
- 고정된 특징에 위치별 scale·shift 보정값을 더해, 원래 의미 구조를 유지하면서 복원에 필요한 세부 정보를 주입하는 방식이다.
원문
저자: Xiaotong Li, Zhengrong Yue, Xu Huang, Jialv Zou, Minhao Jing, Wenhao Yan, Haodong Li, Hai Huang, 외 · 게시 2026-11-09 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.