LoRA 저랭크 적응
LoRA(Low-Rank Adaptation, 저랭크 적응)는 거대한 AI 모델의 원래 파라미터는 그대로 두고, 옆에 아주 작은 추가 부품만 학습시켜 모델을 새 용도에 맞추는 파인튜닝 방법이다.
어떻게 작동하나
보통 파인튜닝은 모델의 파라미터 수십억 개를 모두 조금씩 고친다. LoRA는 원래 파라미터를 얼려(고정해) 두고, 각 층 옆에 작은 크기의 행렬 두 개로 된 어댑터를 붙여 그것만 학습한다. 여기서 '저랭크'는 큰 변화를 아주 적은 숫자로 간추려 표현한다는 뜻이다. 실제로 쓸 때는 원래 모델의 계산 결과에 어댑터의 결과를 더해 최종 출력을 만든다. 학습이 끝난 어댑터는 원래 모델에 합쳐 넣을 수도 있다.
왜 중요한가
학습해야 할 파라미터가 크게 줄어서 GPU 메모리와 비용이 훨씬 적게 든다. 덕분에 큰 회사가 아니어도 오픈웨이트 모델을 자기 데이터에 맞게 고칠 수 있게 됐다. 어댑터 파일은 원래 모델보다 훨씬 작아서 저장하고 나누기도 쉽다. 하나의 기본 모델에 여러 어댑터를 바꿔 끼우며 용도별 모델을 운영할 수도 있다.
알아 둘 점
LoRA는 말투나 형식, 특정 업무 처리 방식을 익히는 데는 효과적이지만, 모델에 완전히 새로운 지식을 대량으로 넣는 데는 한계가 있을 수 있다. 어댑터 크기(랭크)를 너무 작게 잡으면 배울 수 있는 양이 줄고, 크게 잡으면 장점인 가벼움이 줄어든다. 모델을 양자화한 상태에서 LoRA를 학습하는 변형 기법도 널리 쓰인다. 어댑터는 학습에 쓴 기본 모델과 짝이 맞아야만 제대로 작동한다.
예시
이미지 생성 커뮤니티에서는 특정 화풍이나 캐릭터를 학습한 LoRA 파일을 공유하고, 사용자가 기본 디퓨전 모델에 이를 불러와 원하는 스타일의 그림을 만든다. 기업에서도 오픈웨이트 LLM에 사내 문서 형식이나 고객 응대 말투를 LoRA로 학습시켜, 기본 모델 하나로 여러 부서용 어댑터를 바꿔 가며 쓰는 방식이 흔하다.