AI 용어집 · 심화 · 효율·인프라
GPTQ·AWQ 가중치 양자화 방식
GPTQ·AWQ는 이미 학습된 LLM의 가중치를 4비트 같은 적은 비트로 줄이는 대표적인 양자화 방식이다. 다시 학습하지 않고 약간의 샘플 데이터만으로 품질 손실을 줄이며 모델을 가볍게 만든다.
어떻게 작동하나
두 방식 모두 학습이 끝난 뒤 적용하는 사후 양자화이고, 소량의 보정(calibration) 데이터를 모델에 흘려 보며 결정을 내린다. GPTQ는 층마다 가중치를 하나씩 낮은 비트로 바꾸면서, 거기서 생긴 오차를 아직 바꾸지 않은 다른 가중치를 조정해 보정한다. AWQ(Activation-aware Weight Quantization)는 입력 신호(활성값)가 크게 들어오는 쪽의 중요한 가중치를 찾아, 크기를 조정해 이들이 덜 깎이도록 보호한다. 결과적으로 둘 다 가중치는 4비트 등으로 저장하고, 계산할 때는 다시 풀어서 쓴다.
GPTQ와 AWQ의 요령
GPTQ오차를 메워 가며
- 층마다 하나씩 낮은 비트로
- 생긴 오차를 남은 가중치로 보정
AWQ중요한 가중치 보호
- 활성값이 큰 쪽을 중요하게 봄
- 크기 조정으로 덜 깎이게 함
공통 둘 다 다시 학습하지 않고 소량의 보정 데이터로 하는 사후 양자화다
어디서 보게 되나
Hugging Face에서 모델 이름 끝에 '-GPTQ', '-AWQ', '-Int4' 같은 꼬리표가 붙은 저장소로 자주 만난다. vLLM 같은 추론 엔진 설정에는 quantization 옵션이 있고, 모델 설정 파일(config.json)에는 비트 수와 그룹 크기 같은 양자화 정보가 적혀 있다. 감은 '파라미터 수 × 0.5바이트(4비트) ≈ 가중치 메모리'로 잡으면 된다. 16비트 원본과 비교하면 가중치 메모리가 대략 4분의 1로 줄어든다.
알아 둘 점
양자화는 공짜가 아니다. 수학·코딩처럼 섬세한 작업이나 작은 모델에서 품질 저하가 더 잘 드러날 수 있으므로, 실제 업무 데이터로 원본과 비교해 보는 것이 좋다. 보정 데이터가 실제 용도와 동떨어지면 결과가 나빠질 수 있다. 또 어떤 GPU와 추론 엔진이 해당 형식의 빠른 연산(커널)을 지원하는지에 따라 속도 이득이 달라진다. 노트북·CPU용으로는 보통 GGUF를, GPU 서버용으로는 GPTQ·AWQ를 고르는 경우가 많다.
예시
사내에서 GPU 한 장으로 오픈웨이트 모델을 서빙하려는데 16비트 원본이 메모리에 안 들어간다면, 같은 모델의 '-AWQ' 버전을 찾아 vLLM에 quantization 옵션을 켜고 띄운다. 그다음 자주 받는 질문 묶음으로 원본 API 결과와 답변 품질을 비교해 쓸 만한지 판단한다.