← 주제 탐구

주제 탐구 · 2026-11-17 · 심화 · 작성자 bombong

희소 파인튜닝: 가중치 극히 일부만 고쳐 모델을 바꾸는 법

희소 파인튜닝은 사전학습 모델의 가중치 가운데 극히 일부만 골라 고친다. 전체 파인튜닝에 가까운 성능을 내면서 망각과 저장 부담을 줄이는 방법이다. 핵심은 '어디를 고칠까'를 정하는 기준이며, 최근 연구는 학습 방식(SFT·RL)에 따라 고칠 자리가 달라진다는 점까지 밝히고 있다.

목차
핵심 정리
  • 희소 파인튜닝은 LoRA처럼 새 행렬을 덧대지 않는다. 기존 가중치 중 일부만 골라 그 값을 직접 고친다. 변화의 모양은 자유롭게 두고 고치는 개수만 제한하는 방식이다.
  • 성능은 '어떤 가중치를 고를까'에 크게 좌우된다. 가중치 크기만 보는 단순한 기준은 LLM에서 약했고, 저랭크 근사·상대 크기·활성화 가중 점수 같은 기준이 그 약점을 보완했다.
  • Deletion Tuning은 가중치의 0.05% 미만을 0으로 지우기만 해도 여러 사후 학습에서 전체 파인튜닝과 맞먹고 망각은 훨씬 적다고 보고했다.
  • RLVR은 주성분 방향을 비켜서 배우고, SFT는 주성분 가중치를 겨냥한다는 분석이 있다. 그래서 SFT에서 잘 통한 선택 기준이 RL에서도 통한다고 보장할 수 없다.
  • '고친 개수가 적다'와 'GPU 메모리를 적게 쓴다'는 다른 이야기다. 옵티마이저 메모리와 실제 학습 속도는 따로 재 봐야 한다.

왜 필요했나: 전부 고치기도, 덧대기도 아쉬웠다

대규모 언어 모델(LLM)을 내 업무에 맞추는 가장 직접적인 방법은 전체 파인튜닝(Full Fine-tuning, FFT)이다. 모든 파라미터를 다시 학습하므로 표현력은 가장 크다. 하지만 Super-Tuning 연구논문가 정리하듯 메모리와 연산이 많이 들고, 작업마다 모델 전체 크기의 체크포인트를 따로 저장해야 한다. LIFT논문는 여기에 더해, 데이터가 적을 때 전체 파인튜닝이 과적합과 파국적 망각(catastrophic forgetting, 새 작업을 배우면서 원래 능력을 잃는 현상)에 취약하다고 지적한다.

그래서 등장한 것이 PEFT(Parameter-Efficient Fine-Tuning, 파라미터 효율적 파인튜닝)다. 대표 주자인 LoRA는 원래 가중치를 얼려 두고, 옆에 작은 저랭크 행렬 두 개를 덧대 그 곱만큼만 가중치를 바꾼다. 싸고 간편하지만 변화가 '저랭크'라는 정해진 모양 안에 묶인다. 목적에 따라서는 이 제약이 손해가 된다. 적대적 학습에 LoRA를 쓰면 전체 파라미터를 학습할 때보다 견고성이 눈에 띄게 떨어진다는 SAFT논문의 지적이 그 예다.

희소 파인튜닝(sparse fine-tuning)은 다른 길을 택한다. 새 행렬을 덧대지 않고, 기존 가중치 가운데 극히 일부만 골라 그 값을 직접 고친다. 변화의 모양은 자유롭게 두되 개수를 제한하는 셈이다. LIFT논문에 따르면 이 방식은 예전에 눈에 띄는 성과를 냈지만, LLM 시대에는 추론에 정말 중요한 파라미터를 찾기 어려워 뒤처져 있었다. 최근 연구들은 바로 이 '어디를 고칠까' 문제를 풀면서 희소 파인튜닝을 다시 불러냈다.

용어 하나를 짚어 둔다. DeFT-X논문 같은 일부 논문은 sparse fine-tuning을 SFT로 줄여 쓴다. 하지만 업계에서 SFT는 보통 지도 미세조정(Supervised Fine-Tuning)을 뜻한다. 이 글에서 SFT는 지도 미세조정만 가리키고, 희소 파인튜닝은 늘 풀어서 쓴다.

핵심 아이디어: 덧대지 말고 틀린 줄 몇 개만 조인다

비유하면 오래된 피아노를 조율하는 일과 비슷하다. 전체 파인튜닝은 피아노 줄을 전부 새로 거는 것이다. LoRA는 피아노 옆에 작은 보조 건반을 붙여 소리를 섞는 것이다. 희소 파인튜닝은 수천 개의 줄 가운데 음이 틀린 몇 개만 찾아 조이는 것이다. 몇 줄만 건드렸으니 나머지 소리는 그대로 남고, 무엇을 바꿨는지 기록하기도 쉽다.

이 비유에서 핵심은 어느 줄이 틀렸는지 알아듣는 귀다. 희소 파인튜닝의 설계는 결국 세 질문으로 나뉜다. 첫째, 어떤 가중치를 고칠 것인가(선택 기준). 둘째, 층마다 몇 개씩 고칠 것인가(예산 배분). 셋째, 고른 자리를 어떻게 바꿀 것인가. 값을 새로 학습할 수도 있고, 0으로 지울 수도 있고, 덧셈용 희소 행렬로 나타낼 수도 있다. 뒤에서 볼 연구들은 대부분 이 셋 중 하나에 새 답을 냈다.

무엇을 맞바꿨는지도 분명하다. LoRA는 '어디든 조금씩, 단 정해진 모양으로' 바꾸고, 희소 파인튜닝은 '정해진 몇 곳만, 대신 모양 제약 없이' 바꾼다. 그래서 희소 방식은 고칠 자리를 잘 고르면 원래 능력을 덜 잃고 저장할 것도 작다. 반대로 잘못 고르면 성능이 크게 떨어진다. LIFT논문가 가중치 크기만 보는 희소 파인튜닝이 LLM에서 약한 기준선에 그친다고 보고한 것도 이 때문이다.

세 가지 파인튜닝 방식

전체 파인튜닝모든 가중치 갱신

  • 표현력이 가장 큼
  • 작업마다 모델 전체 크기 저장
  • 데이터가 적으면 과적합·망각 위험

LoRA저랭크 행렬을 덧댐

  • 싸고 간편함
  • 변화가 저랭크 모양으로 묶임
  • 목적에 따라 성능 격차(예: 적대적 학습)

희소 파인튜닝기존 가중치 일부만 고침

  • 모양 제약 없이 개수만 제한
  • 망각이 적고 저장이 작음
  • 고칠 자리 선택에 성능이 좌우

공통 모두 사전학습 모델을 새 작업에 맞추는 방법

무엇을 얼마나, 어떤 모양으로 바꾸는지에 따라 비용과 위험이 달라진다.

어떻게 작동하나: 점수, 마스크, 학습, 저장

대부분의 방법은 네 단계를 거친다. 1) 점수 매기기. 사전학습 모델의 가중치마다 '고칠 가치' 점수를 붙인다. 가장 단순한 점수는 가중치 값의 크기(magnitude)다. 이 밖에도 그 가중치로 들어오는 입력 신호(활성화)의 크기를 곱하거나, 기울기(gradient, 손실을 줄이려면 값을 얼마나 바꿔야 하는지)를 보거나, 행렬을 저랭크로 근사한 뒤 크기를 보는 방식이 쓰인다. 활성화나 기울기를 보려면 소량의 보정(calibration) 데이터를 모델에 한 번 통과시켜야 한다.

2) 마스크 정하기. 점수가 높은(또는 기준에 맞는) 가중치만 1, 나머지는 0인 마스크를 만든다. 전체 예산을 층마다 어떻게 나눌지도 이 단계에서 정한다. 3) 마스크 위치만 학습. 학습 중에는 마스크가 1인 자리만 값이 바뀌고 나머지는 얼어 있다. 여기에 흔한 함정이 있다. SNELLA논문는 기울기에 마스크를 씌우는 방식이 옵티마이저(가중치 갱신을 계산하는 부분)에 전체 가중치 행렬을 다 올려 두므로 메모리를 많이 쓴다고 지적한다. 고치는 개수가 적다고 해서 GPU 메모리를 적게 쓰는 것은 아니다.

4) 차이만 저장하고 조합하기. 학습이 끝나면 바뀐 자리와 바뀐 값, 즉 희소한 '차이 벡터'만 저장하면 된다. DeFT-X논문가 이어받은 조합형 방식은 이 성질을 활용한다. 작업 지식용 차이와 언어 지식용 차이를 따로 학습한 뒤 사전학습 모델에 함께 더하는 것이다. 이렇게 하면 원천 언어의 작업 데이터만으로 배운 작업을 라벨 데이터가 없는 저자원 언어에서도 수행하게 만들 수 있다(zero-shot 교차 언어 전이).

희소 파인튜닝의 네 단계사전학습 모델 → 중요도 점수; 보정 데이터 → 중요도 점수; 중요도 점수 → 마스크 정하기; 마스크 정하기 → 마스크 위치만 학습; 마스크 위치만 학습 → 희소 차이 벡터; 희소 차이 벡터 → 기본 모델 + 차이(더하기)사전학습 모델보정 데이터소량, 한 번 통과중요도 점수크기·활성화·기울기마스크 정하기상위 일부 + 층별 예산마스크 위치만 학습나머지는 얼림희소 차이 벡터바뀐 자리·값만기본 모델 + 차이작업·언어 차이 조합더하기
희소 파인튜닝의 네 단계 윗줄은 고칠 자리를 정하고 학습하는 흐름이고, 아랫줄은 학습 결과를 차이만 남겨 저장하고 조합하는 흐름이다.

발전 흐름: '어디를 고칠까'의 기준이 바뀌어 온 길

DeFT-X논문와 LIFT논문는 둘 다 크기 기준이 잡음에 약하다는 문제를 저랭크 관점으로 풀었다. 앞선 조합형 희소 파인튜닝은 단순한 크기 기준 가지치기(pruning, 중요도가 낮은 가중치를 잘라내는 기법)로 마스크를 정했다. DeFT-X는 가지치기 전에 특이값 분해(SVD, 행렬을 중요한 방향 순으로 쪼개는 방법)로 가중치 행렬의 잡음을 걷어 내고, 극저자원 언어의 감성 분류(NusaX)와 자연어 추론(AmericasNLI)에서 기존 방식과 같거나 더 나은 결과를 냈다. LIFT는 LLM 추론 학습에서 행렬을 저랭크로 근사한 뒤 크기가 큰 '주성분 가중치(Principal Weights)'를 고르면 크기 기준이 다시 효과를 낸다는 점을 보였다. 상위 5%만 계속 갱신해 추론 과제에서 전체 파인튜닝보다 일관되게 나았다. 메모리는 대표적인 PEFT 수준이었고, 원래 도메인 지식은 전체 파인튜닝·LoRA보다 최대 20% 더 보존했다.

GEM논문은 변화량을 상대값으로 보자고 제안했다. 기존 PEFT는 원래 크기와 상관없이 갱신량의 절댓값을 키운다. 그런데 원래 값이 큰 가중치를 조금 바꾸면 모델 행동은 거의 변하지 않는다. GEM은 기울기 대 가중치 비율로 '원래 값에 비해 크게 바뀔' 자리를 고르고, 층마다 가중치 값 분포의 엔트로피를 보고 고칠 개수를 나눈다. 파라미터 0.1%만 갱신하면서 전체 파인튜닝보다 정확도를 최대 1.6% 높였다고 보고했다(GLUE·SuperGLUE·GSM8k·MBPP).

Super-Tuning논문은 원래 가지치기용으로 만든 점수를 '어디를 고칠까'에 그대로 재사용했다. Wanda식 활성화 가중 크기 점수로 고칠 자리를 고정하는 Super를 내놓았고, 같은 파라미터 예산을 희소 갱신과 LoRA로 나누는 혼합형 Supra도 함께 제안했다. Llama-3.2-1B와 Meta-Llama-3-8B로 한 Math17K 산술 실험에서 가장 좋은 Super/Supra 설정이 비교한 어댑터 가운데 평균 정확도가 가장 높았다. 다만 단일 시드 실험이었고, 점수가 낮은 자리를 골라도 효과가 있을 수 있다는 결과도 함께 보고했다.

선택 기준을 새 목적에 맞춘 연구도 나왔다. SAFT논문는 적대적 학습의 기울기가 소수의 '견고성 핵심 파라미터(RCP)'에 몰린다는 관찰에서 출발해 그 자리만 갱신한다. 파라미터 약 5%만 바꾸고도 LoRA 기반 방법보다 일반 정확도와 견고 정확도가 모두 높았고, 견고성은 전체 파라미터 적대적 학습에 근접하거나 앞섰다. TopKLoRA논문는 LoRA 내부를 희소하게 만들어 해석 가능성을 노렸다. 토큰마다 가장 큰 k개 잠재 단위만 켜지게 해서, 오염된 데이터로 심은 잠복형 백도어를 구현하는 회로를 찾아 제거했다. 찾아낸 회로는 일반 LoRA보다 최대 한 자릿수 작았고, 지시 수행 성능은 그대로 둔 채 악성 기능만 걷어 낼 수 있었다. 이미지 생성 쪽에서는 희소 코딩 기반 미세조정논문이 표현을 '특징 사전 원자'의 희소 조합으로 만들었다. 중요하지 않은 원자를 빼서 이미지 편집의 텍스트 Alignment를 높인 것이다.

요즘 어디로 가고 있나: 지우기만 해도 되고, RL은 다른 곳을 고친다

Deletion Tuning논문은 희소 파인튜닝을 극단까지 밀어붙였다. 값을 학습하지 않고, 트랜스포머 블록의 게이트 프로젝션(gate projection, 피드포워드 층에서 신호를 얼마나 통과시킬지 정하는 부분) 가중치 중 0으로 지울 자리를 고르는 이진 마스크만 학습한다. 전체 가중치의 0.05% 미만을 0으로 만드는 것만으로 RLVR, SFT, On-policy Distillation 세 가지 사후 학습에서 전체 파인튜닝과 맞먹었고, 모델 규모를 키워도 마찬가지였다. 학습된 마스크는 같은 작업의 전체 파인튜닝 체크포인트보다 수백~수천 배 작고, 망각도 훨씬 적다. 강화학습에서 이전 작업 정확도는 기본 모델 수준에 머물렀다. 반면 전체 파인튜닝·LoRA·무작위 희소 파인튜닝은 최대 5.4점을 잃었다.

'The Path Not Taken'논문은 RLVR이 왜 일부 파라미터만 바꾸는 것처럼 보이는지 파고들었다. 이 연구는 희소성이 겉으로 드러난 현상일 뿐이라고 본다. 같은 사전학습 모델이라면 데이터셋이나 RL 레시피가 달라도 갱신은 늘 비슷한 영역에 몰린다. 연구는 그 원인을 세 관문으로 설명한다. KL 제약이 갱신 폭을 묶고, 모델의 기하 구조가 갱신을 주성분 방향 밖의 완만한 부분공간으로 돌리며, 수치 정밀도가 아주 작은 갱신을 가려 희소해 보이게 만든다는 것이다. 결론적으로 RLVR은 주성분 방향을 비켜서 배우고 스펙트럼을 거의 흐트러뜨리지 않는다. 반면 SFT는 주성분 가중치를 겨냥해 스펙트럼을 비튼다. 이 연구는 SFT 시대에 만든 PEFT 기법을 RL에 그대로 옮겨 쓰는 데 의문을 던진다. Deletion Tuning논문도 같은 '가중치 기하' 관점을 쓴다. 학습된 변화를 안정 랭크·스펙트럼 이동·주성분 가중치 겹침으로 분석해, LoRA나 무작위 희소 방식보다 전체 파인튜닝에 가깝다는 점을 보였다.

비전 쪽에서는 메모리 문제를 정면으로 다룬다. SNELLA논문는 '먼저 위치를 고르고 그다음 학습하는' 2단계 방식에 두 가지 문제가 있다고 본다. 학습 중 일어나는 가중치 변화를 반영하지 못하고, 메모리를 많이 쓴다는 것이다. 그래서 이를 한 단계로 합쳤다. 두 저랭크 학습 행렬을 합쳐 만든 희소 행렬을 원래 가중치에 더하고, 비선형 커널로 합친 행렬의 랭크를 높였다. 또 가중치들이 층 사이와 층 안에서 중요도 점수로 경쟁해 예산을 나눠 갖게 했다. Supra논문, TopKLoRA논문와 마찬가지로 희소 파인튜닝과 LoRA의 경계가 흐려지는 흐름이다.

연구별로 고친 가중치 비율

0.05% 미만Deletion Tuning이 0으로 지운 비율
0.1%GEM이 갱신한 비율
상위 5%LIFT가 갱신한 주성분 가중치
약 5%SAFT가 갱신한 비율
각 연구가 보고한 비율이다. 모델·과제·방식이 서로 달라 직접 비교할 수는 없다.
희소 파인튜닝 연구 지도 윗줄은 고칠 자리를 고르는 기준, 가운데 줄은 새 목적으로 넓힌 연구, 아랫줄은 최근 방향이다. 상자를 누르면 원문으로 이동한다.

한계와 쟁점: 언제 쓰고 언제 피하나

첫째, 맞는 선택 기준은 학습 방식마다 다르다. LIFT논문는 SFT형 추론 학습에서 주성분 가중치를 고치라고 하지만, 'The Path Not Taken'논문은 RLVR이 주성분을 비켜서 배운다고 본다. SFT에서 잘 통한 마스크 기준을 RL에 쓰려면 따로 검증해야 한다. Super-Tuning논문에서 점수가 낮은 자리를 골라도 효과가 있었다는 결과는, '왜 이 자리가 중요한가'에 대한 이해가 아직 완전하지 않다는 신호이기도 하다.

둘째, 효율을 고친 개수만으로 판단하면 안 된다. 마스크를 기울기에 씌우는 구현에서는 옵티마이저가 전체 행렬을 들고 있으므로 메모리 이득이 작을 수 있다(SNELLA논문). 또 흩어진 위치를 갱신하는 연산은 일반적으로 덩어리 행렬 곱만큼 GPU를 효율적으로 쓰지 못한다. 실제 학습 속도와 VRAM 사용량은 직접 재 보는 편이 안전하다. 반면 저장 측면의 이득은 분명하다. 작업마다 작은 차이 벡터나 마스크만 두면 되므로, 여러 작업이나 여러 고객용 변형을 관리할 때 유리하다(Deletion Tuning논문).

셋째, 근거가 어디까지 적용되는지 확인해야 한다. 여러 결과가 특정 모델 크기, 단일 시드, 특정 벤치마크에서 나왔다. '전체 파인튜닝보다 낫다'는 보고는 그 설정 안의 결과일 뿐, 내 데이터에서도 그대로 재현된다는 보장은 아니다. 기준선으로는 LoRA와 함께 무작위 희소 마스크를 두는 것이 좋다. Deletion Tuning논문이 보여 주듯, 무작위 희소 파인튜닝과의 차이가 곧 선택 기준의 가치이기 때문이다. 이전 작업 성능도 반드시 함께 잰다.

정리하면 이런 때 쓸 만하다. 원래 능력을 지키는 것이 중요할 때, 작업별 변형을 많이 저장하고 조합해야 할 때, 바꾼 자리를 추적하거나 제거해야 할 때(TopKLoRA논문의 백도어 제거처럼), LoRA로는 목적을 이루기 어려울 때(SAFT논문의 적대적 학습처럼)다. 반대로 LoRA로 이미 목표 성능이 나오고 운영 단순성이 더 중요할 때, 또는 선택 기준을 검증할 평가 세트가 없을 때는 서두르지 않는 편이 낫다.

희소 파인튜닝 도입 전 점검

선택 기준

  • 학습 방식(SFT·RL)에 맞는 기준인가
  • 무작위 희소 마스크와 비교했는가
  • 층별 예산 배분을 정했는가

효율

  • 옵티마이저가 전체 행렬을 들고 있지 않은가
  • 실제 VRAM·학습 속도를 재 봤는가
  • 작업별 차이만 저장하는가

평가

  • 이전 작업 성능 유지를 쟀는가
  • 여러 시드에서 재현되는가
선택 기준, 실제 효율, 평가 범위를 나눠 확인한다.

더 공부하려면

먼저 LIFT논문로 '크기 기준은 왜 약했고, 저랭크 근사가 무엇을 바꿨나'를 잡는다. 이어서 GEM논문으로 상대 크기와 층별 예산 배분을, Super-Tuning논문으로 가지치기 점수의 재사용과 LoRA 혼합을 본다. 이 세 편이면 선택 기준의 주요 갈래를 대부분 볼 수 있다.

그다음 최근 연구 두 편을 짝지어 읽는다. 'The Path Not Taken'논문으로 RLVR과 SFT가 가중치 공간에서 어떻게 다르게 움직이는지 이해한 뒤 Deletion Tuning논문을 읽으면 된다. '지우기만으로 충분하다'는 결과와 그 기하 분석을 함께 보면 두 논문이 서로를 설명해 준다.

응용 관심사에 따라 고를 수도 있다. 다국어·저자원 언어는 DeFT-X논문, 보안·견고성은 SAFT논문, 해석 가능성과 백도어 제거는 TopKLoRA논문부터 읽는다. 비전 모델과 메모리 효율은 SNELLA논문, 이미지 생성은 희소 코딩 기반 미세조정논문이 출발점이다.

관련 용어

LoRA 파인튜닝 사후 학습 RLVR SFT 해석 가능성 백도어 공격 모델 병합

참고 문헌

핵심 논문

최근 연구

AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.