LoRA: 거대 모델을 작은 조각만 고쳐 파인튜닝하는 법

왜 필요했나: 전체 파인튜닝의 무게

LLM(대규모 언어 모델)은 보통 방대한 일반 데이터로 사전학습한 다음, 요약·질의응답·SQL 생성처럼 특정 작업에 맞게 다시 학습시켜 쓴다. 이 두 번째 단계가 파인튜닝(미세조정)이다. 가장 단순한 방법은 모델의 모든 파라미터(모델이 학습으로 정하는 숫자들)를 다시 고치는 전체 파인튜닝이다.

문제는 크기다. LoRA 논문논문은 GPT-3 175B를 예로 들어, 작업마다 1,750억 개 파라미터짜리 모델을 따로 만들어 배포하는 일은 비용이 감당하기 어려울 만큼 크다고 지적한다. 고객 상담용, 법률 문서용, 코드 리뷰용으로 세 벌만 만들어도 원본 크기의 모델이 세 벌 생긴다. 학습할 때도 모든 파라미터에 대한 기울기와 옵티마이저 상태(학습 알고리즘이 파라미터마다 따로 들고 있는 보조 값)를 GPU 메모리에 올려야 한다.

일부 파라미터만 고치거나 작은 외부 모듈을 덧붙이는 방법도 이미 있었다. 하지만 같은 논문에 따르면 이런 방법들은 모델을 더 깊게 만들어 추론을 느리게 하거나, 모델이 쓸 수 있는 입력 길이를 줄이거나, 전체 파인튜닝만큼 성능을 내지 못하는 경우가 많았다. 효율과 품질 가운데 하나를 포기해야 하는 상황이었다.

핵심 아이디어: 원본은 두고 포스트잇만 붙인다

두꺼운 전공 교과서를 내 업무에 맞게 고친다고 해 보자. 책 전체를 새로 찍는 대신, 원본은 그대로 두고 필요한 곳에 포스트잇 메모만 붙이면 된다. 업무가 바뀌면 포스트잇 묶음만 갈아 끼우면 된다. LoRA(Low-Rank Adaptation, 저랭크 적응)가 하는 일이 이와 같다.

이 방법이 통하는 근거는 '바뀌는 양은 단순하다'는 가정이다. LoRA 논문논문은 앞선 연구들을 바탕으로, 모델이 새 작업에 적응할 때 가중치가 바뀌는 양은 낮은 '내재 랭크'를 가진다고 가정했다. 랭크는 쉽게 말해 하나의 행렬이 실제로 몇 개의 독립된 방향으로 움직이는지를 나타내는 수다. 바뀌는 양이 몇 개의 방향만으로 설명된다면, 거대한 행렬 전체를 학습할 필요 없이 그 방향만 찾으면 된다.

결과는 컸다. 같은 논문은 Adam으로 GPT-3 175B를 전체 파인튜닝할 때와 비교해, 학습할 파라미터 수는 1만 배, GPU 메모리 요구량은 3배 줄었다고 보고했다. 학습 파라미터가 원본의 0.01% 수준까지 작아질 수 있고, RoBERTa·DeBERTa·GPT-2·GPT-3에서 품질은 전체 파인튜닝과 비슷하거나 더 나았다고 한다.

어떻게 작동하나: 얼린 가중치 옆에 붙인 두 개의 작은 행렬

트랜스포머의 각 층에는 입력을 변환하는 큰 가중치 행렬(예: 어텐션의 질의·키·값 행렬)이 있다. LoRA는 이 원래 가중치 W를 그대로 얼려 둔다. 그리고 그 옆에 작은 행렬 두 개를 나란히 붙인다. 행렬 A는 입력을 아주 좁은 공간(폭 r)으로 줄이고, 행렬 B는 그것을 다시 원래 크기로 늘린다. 이 A와 B의 곱이 '바뀌는 양'을 대신한다.

한 번의 계산은 이렇게 흐른다. 1) 입력이 들어오면 얼린 W를 지나 원래 출력을 만든다. 2) 같은 입력이 A를 지나 좁아졌다가 B를 지나 다시 넓어진다. 3) 두 결과를 더해 최종 출력으로 쓴다. 4) 학습 중에는 A와 B만 갱신하고 W는 손대지 않는다. 그래서 대부분의 파라미터에 대해서는 기울기도, 옵티마이저 상태도 들고 있을 필요가 없다.

폭 r은 얼마나 작아도 될까. LoRA 논문논문은 GPT-3 175B에서 원래 차원이 12,288일 때도 r이 1이나 2면 충분했다고 보고했다. 그리고 배포할 때는 B×A를 W에 미리 더해 하나의 행렬로 합칠 수 있다. 그러면 추론 때 계산 경로가 원래 모델과 똑같아져서, 덧붙인 모듈 때문에 느려지는 일이 생기지 않는다. 합치지 않고 A·B만 따로 보관하면, 하나의 본체에 작업별 LoRA를 바꿔 끼우는 방식으로도 쓸 수 있다.

발전 흐름: LoRA에서 QLoRA로

LoRA2021 논문는 '본체는 얼리고 작은 저랭크 행렬만 학습한다'는 틀을 세웠다. 학습 파라미터와 저장 공간을 크게 줄였고, 작업별 모듈을 바꿔 끼울 수 있게 했으며, 추론 지연이 없다는 점에서 기존 어댑터 방식과 구별됐다. 다만 학습 중에도 얼린 본체 자체는 16비트 등 원래 정밀도로 GPU 메모리에 올라가 있어야 했다.

QLoRA2023 논문는 바로 그 본체의 무게를 줄였다. 논문에 따르면 LLaMA 65B를 일반 16비트로 파인튜닝하려면 GPU 메모리가 780GB 넘게 필요하다. QLoRA는 얼린 본체를 4비트로 양자화(숫자를 더 적은 비트로 표현해 용량을 줄이는 기법)하고, 그 위에 LoRA를 붙여 기울기를 양자화된 가중치를 거쳐 LoRA 쪽으로 흘려보낸다. 그 결과 65B 모델 파인튜닝에 필요한 메모리를 48GB 아래로 낮췄고, 16비트 전체 파인튜닝과 같은 성능을 유지했다고 보고했다.

이를 위해 세 가지 장치를 더했다. 정규분포를 따르는 가중치에 맞춘 4비트 자료형 NF4(4-bit NormalFloat), 양자화에 쓰이는 보조 상수까지 다시 양자화해 파라미터당 평균 약 0.37비트(65B 모델에서 약 3GB)를 아끼는 이중 양자화, 그리고 긴 입력을 처리할 때 생기는 메모리 급증을 NVIDIA 통합 메모리로 넘기는 페이지드 옵티마이저다. 또 LoRA를 모든 층에 붙여야 기존 연구에서 보이던 정확도 손실을 거의 피할 수 있다고 밝혔다.

QLoRA 논문은 이렇게 아낀 자원으로 1,000개가 넘는 모델을 학습해 데이터에 관한 관찰도 내놓았다. 9천 개 샘플인 OASST1이 45만 개 샘플(부분 추출)인 FLAN v2보다 챗봇 성능이 좋았다며, 데이터는 양보다 질이 훨씬 중요하다고 정리했다. 이 방식으로 만든 Guanaco 모델은 Vicuna 벤치마크에서 GPU 한 장으로 24시간 학습해 ChatGPT 성능의 99.3%에 이르렀다고 한다.

요즘 어디로 가고 있나

첫째, 'LoRA가 왜 통하는가'를 설명하려는 이론 연구다. 유한 랭크 병목 연구논문는 LoRA가 파라미터 효율적 파인튜닝의 표준이 됐지만 낮은 랭크로 충분한 이유에 대한 이론 설명은 아직 불완전하다고 짚는다. 이 연구는 본체를 얼리면 손실 함수가 각 가중치 행렬을 얼린 활성값이 만드는 유한 랭크의 통로로만 본다는 점에 주목했다. 그래서 필요한 랭크가 데이터 양이 아니라 이 통로의 랭크, 곧 '병목 랭크'에 따라 정해진다고 보였다.

둘째, 전체 파인튜닝과의 성능 차이를 줄이려는 시도다. DT-LoRA논문는 LoRA가 전체 파인튜닝보다 성능이 낮은 경우가 많다는 데서 출발한다. 원인을 분석해 보니 분해된 업데이트는 현재 저랭크 인자가 정하는 공간 안에서만 움직이고, 그 공간 밖의 기울기 성분이 기울기 에너지 대부분을 차지했다. 그래서 정해진 랭크 예산을 안정 가지와 동적 가지로 나눠 그 바깥 방향 가운데 주요한 것을 잡아내게 했다. LoRA보다 학습 파라미터나 추론 비용을 늘리지 않고도 비전·언어 작업에서 꾸준히 나아졌다고 보고했다.

셋째, 'LoRA를 바꿔 끼우는' 실전 시스템이다. 의료 영상 해석 연구논문는 Qwen3.5-9B를 4비트로 얼린 공용 본체 하나에 작업별 LoRA 어댑터를 붙이고, 들어온 질문에 따라 어댑터를 골라 쓰는 시스템을 만들었다. 여섯 가지 작업군과 일곱 가지 영상 종류를 다뤘고, 작업마다 어댑터 랭크와 프롬프트를 따로 맞췄다. 최종 컨테이너는 30.1GB, 사례당 평균 3.1초가 걸렸다고 한다. 저자들은 효과가 작업마다 달랐다며, 작업별로 설정을 달리하는 방식을 뒷받침하는 결과라고 해석했다. 다만 이는 대회용 평가 세트에서 측정한 결과이며 실제 진료 환경의 성능을 뜻하지는 않는다.

한계와 쟁점

성능 차이가 늘 사라지는 것은 아니다. LoRA 논문논문은 여러 모델에서 전체 파인튜닝과 비슷하거나 더 나은 품질을 보고했지만, DT-LoRA논문는 LoRA가 전체 파인튜닝보다 성능이 낮은 경우가 많다고 출발점을 잡는다. 업데이트가 저랭크 공간에 갇히는 구조이므로, 작업이 요구하는 변화가 단순하지 않으면 손해를 볼 수 있다는 뜻이다. 랭크 r을 얼마로 잡고 어느 층에 붙일지는 여전히 실험으로 정해야 하는 부분이 많다.

'왜 통하는가'에 대한 설명도 아직 진행 중이다. 유한 랭크 병목 연구논문가 지적하듯, 기존 분석은 대부분 네트워크를 사전학습 가중치 근처에서 선형으로 근사하는 방식에 기대 왔다. 낮은 랭크로 충분하다는 것은 처음에는 경험적 관찰에 가까웠고, 이론적 뒷받침은 이제 쌓이는 중이다.

평가 문제도 따라온다. QLoRA 논문논문은 GPT-4 평가가 사람 평가와 대체로 순위가 맞아 값싼 대안이 될 수 있다고 하면서도, 크게 어긋나는 경우가 있고 당시 챗봇 벤치마크는 성능을 정확히 재기에 믿을 만하지 않다고 밝혔다. 또 MMLU 점수가 높다고 Vicuna 챗봇 점수가 높은 것은 아니었다. 적은 비용으로 많이 파인튜닝할 수 있게 된 만큼, 무엇으로 좋아졌는지를 확인하는 평가가 더 중요해졌다.

더 공부하려면

출발점은 LoRA 원 논문논문이다. 1장 도입과 2장 문제 정의만 읽어도 전체 파인튜닝의 저장·배포 부담과 '바뀌는 양을 작은 파라미터로 표현한다'는 발상을 잡을 수 있다. 3장 '기존 해법으로 충분하지 않나?'는 어댑터 방식의 추론 지연 문제를 비교해 준다.

다음은 QLoRA논문다. 실무에서 GPU 한 장으로 큰 모델을 파인튜닝하려면 NF4, 이중 양자화, 페이지드 옵티마이저가 각각 어디서 메모리를 아끼는지 알아 두면 좋다. 데이터 질과 평가 방법에 관한 분석도 함께 읽을 만하다.

그다음 최근 흐름을 보려면 세 편을 고르면 된다. 이론에 관심이 있으면 유한 랭크 병목 연구논문, 성능을 끌어올리는 변형에 관심이 있으면 DT-LoRA논문, 여러 작업을 한 본체로 운영하는 시스템 설계에 관심이 있으면 의료 영상 어댑터 연구논문부터 읽는다.