← 주요 논문

논문 리뷰 · 2026년 11월 14일

G-STAR: 그룹 크기 확장으로 고압축 자기회귀 이미지 생성하기

G-STAR: Group-Scaled Token Capacity for Deeply Compressed Autoregressive Generation

생성형 미디어효율·인프라 고급 추천 40 cs.CV LongCat

공간 압축률과 토큰당 코드 수를 함께 키우고 semi-autoregressive 디코더를 붙여, 1024×1024 이미지를 H200 한 장에서 2.5초에 생성했다.

문제

이산 토큰 기반 자기회귀 이미지 생성은 토큰을 하나씩 순서대로 생성한다. 그래서 고해상도일수록 느리다. 공간 압축을 강하게 하면 생성 단계 수는 줄지만, 토큰 하나가 담을 정보가 많아져 양자화 손실이 커진다.

방법

Product Quantization으로 각 공간 토큰을 G개의 코드로 표현한다. 축당 압축률을 α배 키울 때 G를 α²배 키우면 전체 명목 비트 예산이 유지된다는 공간–그룹 동시 확장 원리를 제시했다. Qwen-ViT로 초기화한 32× 토크나이저를 만들고, 2×2 무손실 패킹으로 실효 64× 토크나이저를 구성했다. 그룹 안 코드 간 의존성은 semi-autoregressive head로 처리한다. 무거운 계산은 병렬 trunk가 한 번에 하고, 순차 처리는 단일 층 causal Transformer만 맡는다. 이렇게 GSTAR-Pro-8B(32×, G=16)와 GSTAR-Flash-1.7B(실효 64×, G=32)를 학습했다.

결과

한계

명목 비트 예산은 실제 엔트로피나 의미 정보량이 아니다. 따라서 동시 확장 원리는 정보량이 같다는 보장이 아닌 근사 원리다. 제공된 본문에는 GSTAR 모델의 벤치마크 수치가 잘려 있어 기준 모델과의 정확한 차이를 확인할 수 없다. 속도 비교는 H200 단일 GPU와 최적화된 추론 구현을 전제로 한다.

의미

자기회귀 이미지 생성의 약점인 느린 속도를 강한 압축으로 줄이는 설계 원리를 제시했다. 텍스트와 이미지를 한 모델에서 다루는 통합 멀티모달 생성 모델을 실제 서비스에 쓸 수 있는 가능성을 높인다.

핵심 용어

Product Quantization(PQ)
특징 벡터를 여러 채널 그룹으로 나눠 그룹마다 따로 양자화하는 방식이다. 시퀀스 길이를 늘리지 않고 토큰 하나의 표현력을 키운다.
공간 압축률
이미지 한 변의 픽셀 수를 토큰 격자 한 변의 크기로 나눈 비율이다. 32×이면 1024 픽셀 한 변이 32개 토큰이 된다.
Semi-autoregressive head
코드 표현은 병렬로 계산하고, 코드 간 의존성은 가벼운 순차 모듈로만 처리해 속도와 품질을 함께 노린 예측 head다.

원문

저자: Xu Huang, Ye Huang, Xiaotong Li, Zhengrong Yue, Jialv Zou, Minhao Jing, Haodong Li, Wenhao Yan, 외 · 게시 2026-11-08 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.