GGUF GGUF 파일 형식

어떻게 작동하나

GGUF 파일 안에는 메타데이터(모델 구조, 토크나이저, 채팅 템플릿 등)와 텐서(가중치)가 함께 들어 있다. 그래서 llama.cpp, Ollama, LM Studio 같은 도구는 이 파일 하나만 있으면 모델을 불러와 대화할 수 있다. 가중치는 보통 양자화해서 저장하는데, 숫자 하나를 적은 비트로 줄여 파일과 메모리를 크게 줄인다. CPU나 노트북 GPU, 맥에서도 돌리기 쉽게 설계된 것이 특징이다.

감 잡는 법

Hugging Face에서 'GGUF'가 붙은 저장소를 열면 Q8_0, Q5_K_M, Q4_K_M처럼 이름이 다른 파일이 여러 개 있다. Q 뒤의 숫자는 대략 숫자 하나에 쓰는 비트 수로, 작을수록 파일이 가볍지만 품질이 조금씩 떨어진다. 감은 '파라미터 수 × 비트 수 ÷ 8 ≈ 가중치 메모리'로 잡는다. 예시로 70억 파라미터 모델을 4비트로 저장하면 약 3.5GB 남짓이고, 여기에 컨텍스트용 KV 캐시 메모리가 더 필요하다.

알아 둘 점

GGUF는 주로 llama.cpp 계열에서 쓰는 형식이라, GPU 서버용 추론 엔진은 보통 safetensors나 GPTQ·AWQ 형식을 쓴다. 새 모델 구조가 나오면 llama.cpp가 지원해야 GGUF 변환과 실행이 가능하다. 공식 회사가 아닌 커뮤니티가 변환해 올린 파일도 많으므로 원본 모델과 라이선스, 변환자를 확인하는 편이 좋다. 무조건 가장 작은 양자화를 고르기보다 메모리가 허락하는 한 높은 비트를 고르는 것이 무난하다.

예시

이 사이트에는 JetBrains가 소형 MoE 모델을 GGUF로 공개했다는 소식(커뮤니티 전언)이 올라왔다. 이런 경우 사용자는 저장소에서 자기 노트북 메모리에 맞는 Q4_K_M이나 Q8_0 파일 하나를 골라 Ollama나 LM Studio에 넣고 바로 로컬에서 대화해 본다.

이 사이트에서 나온 사례

• 브리핑 JetBrains, 소형 MoE 'Mellum2.1-12B-A2.5B-Thinking' GGUF 공개(커뮤니티 전언) 2026-10-09

함께 보면 좋은 용어

양자화 로컬 LLM safetensors GPTQ·AWQ 채팅 템플릿 VRAM