← 주제 탐구

주제 탐구 · 2026-11-18 · 심화 · 작성자 bombong

혼합 정밀도 양자화: 층마다 비트를 다르게, KL 발산으로 품질 재기

혼합 정밀도 양자화는 모델의 모든 층을 같은 비트로 줄이지 않는다. 민감한 곳에는 비트를 더 주고 둔감한 곳에서는 더 깎는다. 이 글은 민감도를 원본과 양자화 모델의 다음 토큰 분포 차이(KL 발산)로 재는 방법을 설명한다. 측정한 민감도를 메모리 예산 안에서 배분 문제로 푸는 과정과 그 한계도 함께 다룬다.

목차
핵심 정리
  • 모든 층을 같은 비트로 줄이면 평균 4비트 아래에서 품질이 크게 떨어진다. 그래서 층마다 비트를 다르게 주는 배분 문제가 생긴다.
  • KL 발산은 원본 모델과 양자화한 모델이 다음 토큰에 매기는 확률 분포가 얼마나 어긋나는지 잰다. 정답 토큰 하나만 보는 퍼플렉서티보다 출력 분포 전체의 변화를 더 넓게 잡아낸다.
  • 층 하나씩 따로 잰 민감도를 단순히 더하면 층끼리 주고받는 영향(상호작용)과 오차가 쌓이는 효과를 놓친다. 최근 연구는 모델 전체 수준의 목표로 직접 최적화하는 쪽으로 가고 있다.
  • 보정 데이터를 어떻게 고르느냐와 어떤 지표를 쓰느냐에 따라 '중요한 층' 순위가 달라질 수 있다. 퍼플렉서티로 매긴 순위가 추론 성능과 거의 상관없다는 보고도 있다.
  • 비트를 잘게 섞을수록 메모리 배치가 불규칙해져 하드웨어 속도 이득이 줄 수 있다. 그래서 배분 단위를 하드웨어에 맞추는 설계가 함께 필요하다.

왜 필요했나: 모든 층을 같은 비트로 줄일 때의 한계

양자화는 모델 파라미터를 16비트 같은 높은 정밀도에서 4비트·3비트·2비트 같은 낮은 비트 수로 바꿔 메모리를 줄이는 기술이다. 수십억 개 파라미터를 가진 LLM은 그대로는 온디바이스 AI나 VRAM이 작은 장비에 올리기 어렵다. 그래서 학습이 끝난 모델을 다시 학습하지 않고 압축하는 학습 후 양자화(PTQ, Post-Training Quantization)가 널리 쓰인다. GPTQ·AWQ가 대표적인 PTQ 방식이다.

가장 단순한 방법은 모든 층을 같은 비트로 줄이는 균일 양자화다. 그런데 층마다 비트를 줄였을 때 출력이 망가지는 정도, 곧 민감도가 다르다. 어떤 층은 2비트로 줄여도 티가 거의 안 나고, 어떤 층은 조금만 건드려도 모델이 엉뚱한 말을 한다. 같은 메모리 예산이라면 둔감한 층에서 비트를 아껴 민감한 층에 몰아 주는 편이 낫다. 이것이 혼합 정밀도 양자화(Mixed-Precision Quantization, MPQ)의 출발점이다.

문제는 평균 비트를 낮게 잡을수록 어려워진다는 점이다. CoopQ논문는 평균 정밀도가 4비트 아래로 내려가면 기존 혼합 정밀도 방법들이 고전한다고 지적했다. 이유는 기존 방법이 층마다 따로 잰 지표에 기대기 때문이다. 이런 지표는 전체 성능에 영향을 주는 층 사이의 상호작용을 놓친다. 그래서 이 분야의 핵심 질문은 두 가지다. 첫째, 무엇으로 품질 손상을 잴 것인가. 둘째, 그 측정값으로 비트를 어떻게 나눌 것인가.

핵심 아이디어: 한정된 예산을 '아픈 곳'에 몰아 주기

비유하면 정해진 수리 예산으로 낡은 건물을 보강하는 일과 같다. 모든 기둥에 똑같이 돈을 쓰면 하중을 거의 받지 않는 기둥에도 예산이 새고, 정작 건물을 떠받치는 기둥은 보강이 부족해진다. 먼저 기둥마다 얼마나 중요한지 재고, 중요한 기둥에 예산을 더 주는 편이 합리적이다. 혼합 정밀도 양자화에서 기둥은 층(또는 블록·전문가·타일)이고, 예산은 전체 메모리, 곧 평균 비트 수다.

그러려면 '얼마나 망가졌나'를 재는 자가 필요하다. 이 글에서 다루는 자는 KL 발산(Kullback-Leibler divergence)이다. LLM은 매 순간 다음에 올 토큰마다 확률을 매긴 분포를 내놓는다. 원본 모델의 분포와 양자화한 모델의 분포를 나란히 놓고 얼마나 어긋나는지 하나의 숫자로 계산한 것이 KL 발산이다. 두 분포가 같으면 0이고, 양자화 모델이 원본과 다른 토큰에 확률을 몰아줄수록 커진다.

이 자가 쓸모 있는 이유는 정답 데이터가 필요 없다는 점이다. 원본 모델 자체를 기준으로 삼으므로 라벨이 없는 짧은 보정(calibration) 문장 묶음만 있으면 된다. 또 정답 토큰의 확률만 보는 것이 아니라 2등·3등 후보의 확률이 어떻게 바뀌었는지도 함께 반영한다.

어떻게 작동하나: 측정에서 배분까지

실제 흐름은 대체로 다섯 단계다(세부는 연구마다 다르다). 첫째, 보정 데이터를 준비한다. 대개 수백 문장 규모의 일반 텍스트다. 둘째, 원본 모델(예: BF16)로 이 문장들을 돌려 위치마다 다음 토큰 확률 분포를 저장해 둔다. 이것이 기준선이다.

셋째, 민감도를 잰다. 가장 흔한 방식은 층 하나만 낮은 비트로 바꾸고 나머지는 원래 정밀도로 둔 뒤, 기준선 분포와의 KL 발산을 보정 데이터 전체에서 평균 내는 것이다. 이것을 층마다, 후보 비트(예: 2·3·4비트)마다 반복하면 '이 층을 이 비트로 줄이면 이만큼 손상된다'는 표가 생긴다. KL 대신 퍼플렉서티, 그래디언트, 양자화 오차를 쓰는 방법도 있다.

넷째, 이 표를 가지고 예산 안에서 최적 배분을 푼다. '총 메모리가 예산을 넘지 않으면서 손상의 합이 가장 작아지도록 층마다 비트를 하나씩 고르라'는 조합 최적화 문제가 된다. 정수 계획법(ILP), 이차 최적화, 동적 계획법 같은 도구가 쓰인다. 다섯째, 고른 비트대로 GPTQ 같은 양자화 백엔드를 실제로 적용하고, 완성된 모델 전체의 KL과 벤치마크를 다시 잰다.

이 흐름에는 숨은 가정이 하나 있다. 층마다 따로 잰 손상을 더하면 전체 손상이 된다는 가정, 곧 가산성이다. 실제로는 앞 층의 오차가 뒤 층으로 전파되고 증폭되므로 이 가정은 정확하지 않다. 아래 발전 흐름의 상당 부분이 이 가정을 어떻게 고칠지에 관한 것이다.

KL로 재고 예산 안에서 나누기보정 데이터 → 원본 모델; 보정 데이터 → 후보 양자화; 원본 모델 → KL 발산 측정; 후보 양자화 → KL 발산 측정(비교); KL 발산 측정 → 층별 민감도 표; 층별 민감도 표 → 예산 최적화; 예산 최적화 → 양자화 적용(비트 배정); 양자화 적용 → 최종 점검보정 데이터라벨 없는 문장 묶음원본 모델기준 분포 저장후보 양자화한 층만 낮은 비트로KL 발산 측정다음 토큰 분포 차이층별 민감도 표층 × 비트별 손상예산 최적화정수 계획 등양자화 적용GPTQ 등 백엔드최종 점검전체 KL·벤치마크비교비트 배정
KL로 재고 예산 안에서 나누기 윗줄은 원본과 후보 모델의 다음 토큰 분포를 비교해 민감도 표를 만드는 과정이다. 오른쪽 세로줄은 그 표로 비트를 배분하고 적용한 뒤 다시 확인하는 과정이다.

왜 KL 발산인가: 품질 지표들이 맞바꾼 것

퍼플렉서티는 정답 토큰에 모델이 얼마나 높은 확률을 줬는지만 본다. 계산이 쉽고 직관적이지만, 정답 확률이 비슷하게 유지되는 한 나머지 후보들의 확률이 크게 흔들려도 잘 드러나지 않는다. KL 발산은 분포 전체를 비교하므로 이런 변화까지 잡는다. 또 정답 문장이 아니라 원본 모델을 기준으로 삼으므로 '원본과 얼마나 똑같이 행동하나'라는 양자화의 목표와 바로 맞닿아 있다.

연구에서도 이 신호를 쓴다. FlexQuant논문는 모델의 퍼플렉서티 엔트로피와 KL 발산을 이용해 층 단위 혼합 정밀도를 정하고, 토큰을 하나 생성할 때마다 비트 수를 동적으로 바꾼다. 다양한 언어 과제에서 정확도 손실은 무시할 만하게 두면서 처음부터 끝까지 1.3배 빨라졌다고 보고했다. 최근의 ACSeL논문은 후보 모델과 기준 모델의 다음 토큰 분포 사이의 발산을 바탕으로 한 품질 대리 지표 RMQD(Relative Model Quality Degradation)를 쓴다. 저자들은 실험한 모델 크기와 정밀도 범위에서 RMQD가 싸게 계산되면서도 다운스트림 벤치마크 성능과 강하게 상관한다고 밝혔다.

다만 KL도 만능은 아니다. KL 값은 보정 데이터에 나온 문맥에서만 잰 것이다. 그래서 그 데이터에 없는 능력, 예컨대 긴 수학 추론이 얼마나 손상됐는지는 보장하지 못한다. 이 점은 '요즘 어디로 가고 있나'에서 다루는 TASA 연구가 퍼플렉서티 기반 민감도에 대해 보여 준 문제와 같은 맥락이다. 결국 어떤 지표든 '어떤 데이터에서 쟀나'를 함께 따져야 한다.

품질을 재는 세 가지 자

퍼플렉서티정답 토큰 확률

  • 계산이 쉽고 직관적
  • 정답 문장이 필요
  • 추론 성능과 순위가 어긋날 수 있음

KL 발산원본과 분포 비교

  • 라벨 없이 원본이 기준
  • 분포 전체 변화를 반영
  • 보정 데이터 밖 능력은 보장 못 함

모델 수준 목표조립한 모델 전체로 평가

  • 층 사이 상호작용 반영
  • 오차 전파까지 포함
  • 탐색 비용이 커서 공간 축소 필요

공통 모두 메모리 예산 안에서 비트를 어디에 줄지 정하는 근거로 쓴다

민감도를 재는 대표적인 방식을 비교한 것이다. 어느 방식이든 보정 데이터에서 잰 값이라는 한계는 같다.

발전 흐름: 층 하나씩 보던 시각에서 모델 전체로

CoopQ논문는 혼합 정밀도 문제를 층들의 협력 게임으로 보았다. 게임 이론의 샤플리 값(Shapley value, 협력에서 각 참가자의 기여를 공정하게 나누는 방법)을 효율적으로 추정하는 SPQE를 제안해 층별 민감도와 층 사이 상호작용을 함께 잰다. 이 추정치를 이진 이차 최적화 문제로 바꿔 엄격한 메모리 제약 아래 층마다 2비트나 4비트를 배정한다. Llama-3·Gemma-2·Qwen-3과 세 가지 PTQ 백엔드(Quanto, HQQ, GPTQ)에서 평균 4비트부터 2비트까지 최고 기준선보다 퍼플렉서티를 20~80% 낮췄고, 비트가 빠듯할수록 격차가 커졌다고 보고했다.

FlexQuant논문는 비트 배분을 고정하지 않고 생성 도중 바꾸는 동적 방향을 열었다. SFMP논문는 다른 쪽 문제를 겨냥했다. 기존 혼합 정밀도 방법은 비싼 이산 최적화에 기대거나, 불규칙한 메모리 배치 탓에 하드웨어 효율이 떨어진다는 것이다. SFMP는 비트 수를 분수 값으로 넓혀 이산 배분을 연속 문제로 바꿨다. 여기에 블록 단위 혼합 정밀도, 중요한 가중치를 모으는 행·열 재배열, 임의의 평균 비트를 지원하는 통합 GEMM 커널을 더했다. 같은 메모리 제약에서 층 단위 방법보다 낫다고 밝혔다.

MoE 모델에서는 배분 단위가 층에서 전문가(expert)로 옮겨 갔다. GEMQ논문는 기존 방법이 층 안에서만 중요도를 추정하고, 양자화로 라우터의 선택이 바뀌는 현상을 무시한다고 지적했다. 그래서 모델 전체 전문가의 중요도를 선형 계획법으로 한꺼번에 다루고, 라우터를 가볍게 파인튜닝해 양자화된 전문가에 맞춘다. 같은 시기 가지치기·양자화 공동 최적화 연구논문는 대부분의 PTQ가 층별 오차만 최적화해 오차가 네트워크를 따라 쌓이고 전파되는 것을 놓친다고 보고, 모델 전체의 오차 전파를 직접 줄이는 혼합 정밀도 전략을 제안했다. 1~3비트에서 WikiText 퍼플렉서티를 가중치-활성화 양자화 기준선보다 최대 21% 낮췄다. 가중치 전용 방법과 비교하면 WikiText에서 최대 59%, C4에서 최대 85% 낮았다고 보고했다.

이 흐름을 한 줄로 줄이면 이렇다. 처음에는 층마다 따로 잰 점수를 더했고, 이후 연구들은 층 사이 상호작용과 오차 전파를 반영하는 쪽으로 옮겨 갔다. 동시에 배분 단위는 층에서 블록·전문가로 다양해졌다.

요즘 어디로 가고 있나

첫째, 지표 자체를 의심하는 흐름이다. TASA논문는 '퍼플렉서티 착시(Perplexity Illusion)'라는 현상을 보고했다. 퍼플렉서티 기반 민감도로 중요하다고 꼽힌 층과 복잡한 추론 성능에 가장 영향이 큰 층 사이의 순위 상관이 켄달 τ≈0, 곧 거의 없었다는 것이다. 또 목표 과제 데이터만으로 보정하면 오히려 성능이 떨어질 수 있고, 일반 도메인 데이터를 섞으면 민감도 추정이 안정된다고 밝혔다. 이렇게 보정 데이터 구성과 비트 배분을 함께 최적화했더니 평균 3.5비트 모델이 여러 4비트 균일 기준선과 맞먹거나 앞섰다. LLaMA-3-8B의 GSM8K에서는 가장 강한 3비트 기준선보다 20점 넘게 높았다.

둘째, 모델 수준 목표를 직접 최적화하는 흐름이다. Q-Strata논문는 MoE 모델에서 모든 전문가의 모든 선형층에 비트를 정하면 탐색 공간이 지나치게 커지는 문제를 2단계로 나눠 풀었다. 안쪽 단계는 블록 안의 배분을 값싼 대리 지표로 순위 매겨, 블록마다 예산별 최선 후보(파레토 경계)를 미리 저장해 둔다. 바깥 단계는 블록마다 예산 하나만 정하면 된다. 탐색이 그만큼 줄어든 덕분에 조립한 양자화 모델 전체로 평가한 목표를 직접 최적화할 수 있고, 덧셈식 대리 지표가 놓치는 블록 사이 결합도 잡는다. Mixtral-8x7B-Instruct 등 세 MoE 모델의 저비트 구간에서 균일 비트 GPTQ와 GEMQ보다 낮은 WikiText2 퍼플렉서티를 보고했다.

셋째, 배포 조건 전체를 함께 고르는 흐름이다. ACSeL논문은 엣지처럼 메모리·지연 예산이 빠듯한 환경을 겨냥한다. 모델 크기, 배치 크기, 양자화 알고리즘, 혼합 정밀도 조합을 한꺼번에 고르는 문제로 본다. 가능한 조합 가운데 예산을 지키면서 품질이 가장 높을 것으로 예측되는 것을 찾는다. 이때 앞서 본 분포 발산 기반 RMQD를 설정만 보고 예측하는 가벼운 대리 모델을 쓰고, 층 단위 혼합 정밀도 탐색은 BandPareto라는 구조화된 탐색 알고리즘으로 한다. KL류 지표가 비트 배분을 넘어 배포 설정 탐색의 기준으로 넓어지는 모습이다.

혼합 정밀도 양자화 연구 지도 왼쪽 두 열은 출발점 연구, 오른쪽 열은 최근 연구다. 점선은 Q-Strata가 GEMQ를 비교 기준선으로 삼았다는 뜻이다.

한계와 쟁점: 실무에서 따질 점

언제 쓰나. 균일 4비트로 품질이 충분하면 혼합 정밀도의 이득은 크지 않다. CoopQ논문의 결과처럼 격차는 평균 비트가 4비트 아래로 빠듯해질수록 벌어진다. 반대로 메모리 때문에 3비트 안팎까지 내려가야 하는 상황, 전문가가 많아 메모리 부담이 큰 MoE 모델이라면 검토할 가치가 크다.

흔한 실수 첫째는 보정 데이터를 한쪽에 치우치게 고르는 것이다. TASA논문의 결과는 목표 과제 데이터만 쓰는 것도 위험하다는 점을 보여 준다. 둘째는 지표 하나만 믿는 것이다. 퍼플렉서티든 KL이든 보정 데이터에서 잰 평균값이므로, 최종 모델은 실제로 쓸 과제의 벤치마크로 꼭 다시 확인해야 한다. 셋째는 층별 점수를 더한 값을 전체 손상으로 착각하는 것이다. 층 사이 상호작용과 오차 전파를 지적한 연구들논문논문논문이 이 점을 반복해서 말한다.

하드웨어와의 충돌도 큰 쟁점이다. SFMP논문가 지적하듯 비트를 잘게 섞으면 메모리 배치가 불규칙해져, 메모리는 줄어도 속도는 기대만큼 빨라지지 않을 수 있다. 배분 단위를 블록처럼 하드웨어 친화적인 단위로 잡고, 그 비트 조합을 돌릴 커널이 있는지 먼저 확인해야 한다. 탐색 비용도 따져야 한다. 층×비트 조합마다 KL을 재는 비용은 모델이 클수록 늘어나므로 SFMP처럼 탐색을 없애거나 Q-Strata처럼 탐색 공간을 줄이는 설계가 나왔다.

마지막으로, 보고된 수치는 대부분 WikiText 퍼플렉서티나 특정 벤치마크에서 얻은 값이다. 내 서비스의 실제 질문 분포에서도 같은 순위가 유지된다고 보장할 수 없다.

혼합 정밀도 도입 전 점검

필요성

  • 균일 4비트로는 메모리가 부족한가
  • MoE처럼 파라미터 부담이 큰 모델인가

측정

  • 보정 데이터에 일반 도메인이 섞였는가
  • 퍼플렉서티 하나에만 기대지 않는가
  • 층별 점수 합을 전체 손상으로 착각하지 않는가

배포

  • 배분 단위가 하드웨어 친화적인가
  • 그 비트 조합을 돌릴 커널이 있는가
  • 실제 과제 벤치마크로 다시 확인했는가
본문의 판단 기준을 확인 항목으로 정리했다.

더 공부하려면

개념을 잡으려면 CoopQ논문부터 읽기를 권한다. 층별 지표의 한계, 상호작용, 예산 아래 최적화라는 이 분야의 기본 틀이 한 편에 다 들어 있다. 이어서 KL 발산을 직접 쓰는 FlexQuant논문를 읽으면 '분포 차이로 품질을 잰다'는 감각이 생긴다. 그다음 ACSeL논문을 읽으면 같은 신호가 배포 설정 탐색으로 넓어지는 모습을 볼 수 있다.

지표를 비판적으로 보려면 TASA논문를, 하드웨어 효율과 탐색 비용 문제는 SFMP논문를 보면 좋다. MoE 모델을 다룬다면 GEMQ논문에서 전문가 단위 배분과 라우터 보정을 익힌 뒤, Q-Strata논문로 2단계 배분이 왜 필요한지 이어서 보기를 권한다. 오차가 쌓이고 전파되는 관점은 가지치기·양자화 공동 최적화 연구논문에서 확인할 수 있다.

관련 용어

양자화 GPTQ·AWQ 정밀도(FP32·BF16·FP8) MoE VRAM 온디바이스 AI 벤치마크 로컬 LLM

참고 문헌

핵심 논문

최근 연구

AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.