SLM 소형 언어 모델
SLM(Small Language Model, 소형 언어 모델)은 파라미터 수가 비교적 적어 가볍고 빠르게 돌아가는 언어 모델이다. 정해진 크기 기준은 없고, 대형 LLM에 견주어 '작다'는 상대적인 표현이다.
어떻게 작동하나
구조는 대부분 LLM과 같은 트랜스포머 기반이고 크기만 작다. 작은 크기로도 쓸 만한 성능을 내기 위해 품질 좋은 학습 데이터나 합성 데이터를 신중하게 고른다. 큰 모델(Teacher)의 답을 작은 모델(Student)이 본떠 배우게 하는 Distillation(지식 증류)도 자주 쓴다. 여기에 양자화로 용량을 더 줄이면 노트북이나 스마트폰에서도 돌릴 수 있다.
왜 중요한가
모델이 작으면 실행 비용이 싸고 답이 빨리 나온다. 인터넷 연결 없이 기기 안에서 돌릴 수 있어, 개인 정보를 외부 서버로 보내지 않는 온디바이스 AI에 알맞다. 문서 분류·요약처럼 범위가 정해진 업무라면 SLM을 파인튜닝해 큰 모델 못지않게 쓰는 경우도 많다. 그래서 여러 기업이 큰 모델과 함께 작은 모델 라인업을 따로 내놓는다.
알아 둘 점
담을 수 있는 지식의 양이 적어 폭넓은 상식이나 복잡한 여러 단계 추론에는 약한 편이다. 모르는 내용을 지어내는 환각도 큰 모델보다 잦을 수 있다. '소형'의 기준이 회사마다 달라 이름만 보고 성능이나 필요한 하드웨어를 짐작하기 어렵다. 실제로 쓸 업무로 직접 시험해 보고 고르는 것이 좋다.
예시
스마트폰의 메시지 요약이나 답장 추천처럼 기기 안에서 바로 처리해야 하는 기능에 SLM이 많이 쓰인다. 기업에서는 사내 문서를 외부로 보내지 않으려고 SLM을 자체 서버에 올리고, 업무 문서로 파인튜닝해 분류·검색 보조 용도로 쓰기도 한다.