Base·Instruct 모델 Base vs. Instruct model

어떻게 작동하나

Base 모델은 방대한 글로 '다음 토큰 맞히기'를 학습해 지식과 언어 능력을 갖췄지만, 질문을 받으면 답 대신 비슷한 질문을 이어 쓰기도 한다. Instruct 모델은 Base 모델에 지시-응답 예시로 SFT를 하고, RLHF·DPO 같은 방법으로 선호에 맞게 다듬은 것이다. 그래서 정해진 채팅 템플릿으로 질문하면 대화하듯 답한다. 요즘 채팅 서비스 뒤에 있는 모델은 대부분 Instruct 계열이다.

이름에서 구분하는 법

Hugging Face 모델 이름에 Instruct, Chat, -it 같은 꼬리가 붙어 있으면 대개 지시를 따르도록 다듬은 모델이다. 아무 꼬리 없이 크기만 적혀 있거나 Base라고 적혀 있으면 사전학습 모델인 경우가 많다. 다만 회사마다 표기 관례가 달라 결국 모델 카드에서 확인해야 한다. 채팅 템플릿이 들어 있는지도 좋은 단서다.

알아 둘 점

바로 서비스에 붙여 쓰려면 Instruct 모델을 고르는 것이 기본이다. 내 데이터로 처음부터 크게 파인튜닝하거나 연구용으로 쓰려면 Base 모델을 고르기도 한다. Base 모델이 '덜 똑똑한' 것은 아니며, 능력은 갖췄지만 꺼내 쓰는 방식이 다를 뿐이다. 안전 장치 학습은 주로 사후 학습 단계에서 들어가므로 Base 모델은 거절이나 안전 응답이 약할 수 있다.

예시

사내 챗봇용 오픈웨이트 모델을 고르던 개발자가 Hugging Face에서 같은 크기의 두 저장소를 발견했다. 하나는 이름 끝에 Instruct가 붙어 있고 하나는 없다. 바로 대화에 쓸 것이므로 Instruct 쪽을 고른다. 한편 이 사이트에서 다룬 연구처럼, 응답의 시작 토큰만 고정해 줘도 Base 모델의 추론 성능이 강화학습을 거친 모델 수준에 가까워졌다는 결과는 Base 모델 안에도 능력이 이미 잠재해 있음을 보여 준다.

이 사이트에서 나온 사례

• 브리핑 연구: 응답 시작 토큰 고정만으로 베이스 모델 추론 성능이 RL 모델 수준에 근접 2026-10-06

함께 보면 좋은 용어

사전 학습 사후 학습 SFT RLHF 채팅 템플릿 파인튜닝