AI 용어집 · 입문 · 효율·인프라
VRAM GPU 메모리
VRAM은 GPU에 붙어 있는 전용 메모리로, 모델 가중치와 계산 중간값이 여기에 올라가야 GPU가 빠르게 계산할 수 있다.
어떻게 작동하나
GPU는 자기 메모리에 있는 데이터만 빠르게 다룬다. 그래서 모델을 돌리려면 가중치 전체와 계산 중간값, LLM이라면 KV 캐시까지 VRAM에 올라가야 한다. 자리가 모자라면 'CUDA out of memory' 오류가 나거나, 일부를 CPU 메모리로 넘겨 크게 느려진다. 고성능 AI GPU는 HBM이라는 고속 메모리를 VRAM으로 쓴다.
감을 잡는 법
가중치 메모리는 '파라미터 수 × 숫자 하나의 바이트 수'로 어림한다. 예시로 70억(7B) 파라미터 모델을 16비트(2바이트)로 올리면 약 14GB, 4비트로 양자화하면 그 4분의 1인 약 3.5GB가 된다. 여기에 KV 캐시와 계산용 여유 공간이 더 필요하다. KV 캐시는 문맥이 길수록, 동시에 처리하는 요청이 많을수록 커진다.
VRAM을 나눠 쓰는 모습
GPU 메모리(VRAM)
모델 가중치KV 캐시계산 중간값여유
어디서 보게 되나
GPU 사양서의 '메모리 용량', 클라우드 인스턴스 설명의 GPU 메모리 항목, nvidia-smi의 메모리 사용량 표시에서 본다. Hugging Face 모델 페이지의 파일 목록 크기를 보면 가중치가 VRAM을 얼마나 차지할지 대략 알 수 있다. 로컬 LLM 도구들도 모델을 고를 때 필요한 메모리를 함께 보여 주는 경우가 많다.
알아 둘 점
가중치만 겨우 들어가는 GPU는 실제로는 쓰기 어렵다. 긴 문맥이나 여러 사용자를 받으면 KV 캐시가 금방 자리를 차지한다. 학습은 추론보다 훨씬 많은 메모리가 든다. 기울기와 옵티마이저 상태까지 올려야 하기 때문이다. MoE 모델은 활성 파라미터가 적어도 전체 가중치를 모두 올려 둬야 하므로 VRAM 계산은 전체 파라미터 기준으로 한다.
예시
사내 챗봇용 오픈웨이트 모델을 고르는 팀은 Hugging Face 모델 페이지에서 파라미터 수와 가중치 파일 크기를 먼저 본다. 예시로 7B 모델을 16비트로 띄우면 가중치만 약 14GB이므로, 동시 사용자와 긴 문맥을 감안해 그보다 넉넉한 VRAM의 GPU를 고르거나 4비트 양자화 버전을 택한다.