AI 용어집 · 심화 · 언어 모델
모델 병합 Model Merging
모델 병합은 같은 기본 모델에서 갈라져 나온 여러 파인튜닝 모델의 가중치를 섞어, 추가 학습 없이 각 모델의 장점을 합친 새 모델을 만드는 기법이다.
어떻게 작동하나
가장 단순한 방법은 같은 위치의 가중치 값을 평균 내는 것이다. 조금 더 나아가면 기본 모델과 파인튜닝 모델의 차이(어떤 능력을 얻으며 바뀐 부분)를 뽑아 더하거나 빼는 Task Arithmetic, 서로 충돌하는 변화를 정리한 뒤 합치는 TIES, 두 모델 사이를 부드럽게 잇는 SLERP 같은 방법이 쓰인다. GPU로 다시 학습할 필요가 없어 적은 비용으로 여러 조합을 시험해 볼 수 있다. mergekit 같은 오픈소스 도구가 설정 파일 하나로 이런 병합을 해 준다.
어디서 보게 되나
Hugging Face에서 이름에 'merge'가 들어가거나, 모델 카드에 병합 방법과 재료 모델 목록, 비율을 적은 설정이 붙은 모델로 만난다. 오픈 리더보드에서 커뮤니티가 만든 병합 모델이 상위권에 오르는 일도 흔하다. 기업에서는 코딩에 강한 파인튜닝과 한국어에 강한 파인튜닝을 합치는 식으로 실험한다. 결과물은 원본과 크기가 같아 서빙 비용은 늘지 않는다.
알아 둘 점
보통 구조와 기본 모델이 같은 모델끼리만 병합할 수 있다. 섞는다고 늘 장점만 합쳐지는 것은 아니어서, 한쪽 능력이 약해지거나 이상한 출력이 나올 수 있으므로 병합 후 반드시 평가해야 한다. 리더보드 점수를 높이려고 병합을 거듭하다 보면 시험 문제에 과하게 맞춰진 모델이 나올 수도 있다. 재료 모델들의 라이선스 조건도 이어받으므로 하나라도 비상업 조건이면 결과물도 상업적으로 쓰기 어렵다.
예시
한 팀이 같은 오픈웨이트 기본 모델에서 고객 상담용 파인튜닝과 사내 문서 요약용 파인튜닝을 각각 만들었다면, mergekit으로 두 모델을 병합해 한 모델로 두 업무를 처리할 수 있는지 시험해 본다. 서빙할 모델이 하나로 줄면 GPU 구성을 단순하게 유지할 수 있지만, 병합 모델이 두 업무 평가 세트를 모두 통과하는지 확인한 뒤에 배포한다.