논문 리뷰 · 2026년 11월 8일

컨텍스트 관점에서 본 압축: 아랍어 법률 LLM의 도메인 적응·양자화·Distillation 평가

Compression Through a Context Lens: Evaluating Adaptation, Quantization, and Distillation in Arabic Legal LLMs

사우디 법률 벤치마크에서 법률 문단을 주는 조건과 주지 않는 조건을 함께 평가해, 4비트 양자화가 메모리를 64–71% 줄이면서도 정확도 변화를 ±3.2%p 이내로 유지함을 확인했다.

문제

자원이 제한되고 기밀성이 중요한 법률 현장에서는 압축된 LLM을 로컬에 배포하는 것이 현실적인 선택이다. 그러나 압축 효과는 대부분 영어·범용 벤치마크에서만 평가됐다. 또 법률 문단을 함께 주는 평가에서는 모델이 학습한 지식이 아니라 문단에서 답을 찾아 쓰는 능력이 측정될 수 있다. 아랍어 법률 과제에서 이 문제는 거의 다뤄지지 않았다.

방법

ArabLegalEval(사우디 법무부 등 문서 기반)의 객관식(MCQ) 500문항과 주관식 NajizQA 200문항으로 평가했다. 모든 단계는 법률 문단을 주는 With-context와 빼는 No-context 두 프로토콜로 비교했다. 대상 모델은 FANAR-9B, JAIS-8B, Qwen2.5-7B다. 1단계에서는 QLoRA로 계속 사전학습(CPT), SFT, CPT→SFT를 비교했다. 2단계에서는 CPT→SFT 모델에 INT8·INT4 NF4·INT4 FP4 사후 양자화를 적용했다. 3단계에서는 SFT 모델을 Teacher로 삼아, No-context에서 생성한 답을 정답으로 학습시키는 시퀀스 단위 하드 라벨 Distillation을 더 작은 Student 모델에 적용했다. 서로 다른 모델 계열 간 Distillation도 포함했다.

결과

문단을 빼면 기본 모델 정확도가 크게 떨어졌다. FANAR는 97.8%에서 70.8%로 27.0%p, Qwen2.5-7B는 21.4%p, JAIS-8B는 7.6%p 하락했다.
No-context MCQ 기준으로 FANAR는 CPT→SFT 적용 시 70.8%에서 79.2%(+8.4%p), Qwen2.5-7B는 76.0%에서 79.8%로 올랐다. JAIS-8B는 CPT만 하면 71.6%에서 61.2%로 떨어졌고 SFT만 한 경우(76.4%)가 가장 좋았다.
4비트 양자화는 BF16 대비 메모리를 64.3–71.1% 줄였다. No-context 정확도 변화는 -3.2%p(Qwen, FP4)에서 +1.6%p(JAIS, NF4) 사이였다. 세 모델 모두 NF4가 FP4보다 정확도가 높았다(JAIS 77.4% vs 74.2%).
With-context 정확도는 양자화 후에도 97.4–99.2%로 천장에 가까워 양자화 방식 간 차이를 거의 구분하지 못했다. 저자들은 No-context 평가가 더 많은 정보를 준다고 보고했다.
Distillation 결과는 편차가 컸고, Student가 작을수록 정확도가 대체로 낮아졌다. FANAR를 Teacher로 Distill한 Qwen2.5-7B Student는 No-context 76.6%로 Teacher(77.2%)에 근접했다.

한계

사우디 법률 기반 벤치마크 하나, 그중 MCQ 500문항 고정 부분집합으로만 평가했다. 양자화는 CPT→SFT 모델에서, Distillation은 SFT 모델에서 출발해 저자들도 두 압축 방법의 절대 수치를 직접 비교할 수 없다고 밝혔다. Distillation은 하드 라벨 방식만 시험했고 로짓 단위 Distillation은 향후 과제로 남겼다. MCQ 성능 향상이 주관식 생성으로 이어지지 않았다(JAIS는 SFT 후 ROUGE-L이 거의 0). 정답 문구가 문단에 그대로 있는 비율(54%)만 확인했을 뿐, 모델이 실제로 이 겹침에 의존하는지는 검증하지 않았다. 학습 설정을 모든 모델에 똑같이 적용해 모델별 최적화 효과가 섞였을 수 있다.

의미

법률처럼 민감한 분야에서 LLM을 로컬에 압축 배포할 때, 문단을 주는 평가만으로는 압축으로 지식이 손상됐는지 알아내기 어렵다는 점을 수치로 보여준다. 4비트 NF4 양자화가 아랍어 법률 MCQ에서 큰 손실 없이 메모리를 크게 줄였다는 결과는 저자원 환경의 배포 판단에 참고가 된다. 압축 모델을 평가할 때 No-context 평가를 함께 써야 한다는 실무 지침도 준다.

핵심 용어

With-context / No-context 평가: 법률 문단을 질문과 함께 주는 오픈북 평가와, 문단 없이 질문과 보기만 주는 클로즈드북 평가다. 둘의 차이로 모델이 문단에서 답을 찾는지, 학습한 지식으로 답하는지를 가늠할 수 있다.
NF4 양자화: 정규분포를 따르는 가중치에 맞춰 설계한 4비트 수치 형식(NormalFloat)이다. 같은 4비트인 FP4보다 이 논문의 실험에서 정확도가 일관되게 높았다.
시퀀스 단위 하드 라벨 Distillation: Teacher 모델의 확률 분포가 아니라 Teacher가 생성한 답 텍스트를 Student가 그대로 학습하는 Distillation(지식 증류) 방식이다. 토크나이저가 달라도 쓸 수 있어 서로 다른 모델 계열 간 전이가 가능하다.
CPT(계속 사전학습): 이미 학습된 모델에 도메인 텍스트를 추가로 넣어 언어 모델링 목적으로 사전학습을 이어 하는 방법이다. 지시문 형식으로 학습하는 SFT와 구분된다.

원문

저자: Md. Rafiul Biswas, George Mikros, Wajdi Zaghouani · 게시 2026-11-05 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.