AI 용어집 · 기초 · 언어 모델
토크나이저 Tokenizer
토크나이저는 글을 모델이 읽을 수 있는 토큰 조각과 번호로 바꾸고, 모델이 낸 번호를 다시 글로 돌려놓는 변환기다. 모델마다 자기 토크나이저가 정해져 있다.
어떻게 작동하나
토크나이저는 학습 데이터에서 자주 함께 나오는 글자 묶음을 모아 어휘 사전을 만든다. 글이 들어오면 이 사전에 맞춰 조각으로 자르고 각 조각에 번호를 붙인다. 자주 쓰는 단어는 한 조각이 되고, 드문 단어는 여러 조각으로 쪼개진다. 대화의 시작·끝을 표시하는 특수 토큰도 이 사전에 함께 들어 있다.
글이 토큰으로 나뉘는 모습
어디서 보나
Hugging Face 모델 저장소의 tokenizer.json, tokenizer_config.json 같은 파일이 토크나이저다. 설정 파일의 어휘 크기(vocab size)는 사전에 든 조각 수를 뜻한다. API 가격표의 토큰 수, 컨텍스트 윈도 길이도 모두 이 토크나이저로 센 값이다. AI 회사들이 제공하는 토큰 계산기로 내 글이 몇 토큰인지 직접 확인할 수 있다.
알아 둘 점
같은 문장도 모델마다 토큰 수가 다르므로, 컨텍스트 윈도나 요금을 모델끼리 비교할 때 이 차이를 감안해야 한다. 한국어처럼 학습 데이터에 덜 나온 언어는 같은 내용에 토큰이 더 드는 경우가 있다. 모델과 다른 토크나이저를 쓰면 번호가 어긋나 엉뚱한 출력이 나온다. 숫자나 공백이 잘게 쪼개지는 방식 때문에 계산이나 글자 수 세기 같은 일에서 실수가 생기기도 한다.
예시
API 비용을 추정하던 개발자가 같은 한국어 문서를 두 모델의 토큰 계산기에 넣어 보니 토큰 수가 꽤 달랐다. 단가만 보고 고르면 안 된다는 것을 알게 된 것이다. 연구 쪽에서도 토크나이저는 중요한 변수다. 이 사이트에서 다룬 연구는 토크나이저가 서로 다른 Teacher 모델과 Student 모델 사이에서 On-policy Distillation을 할 때, 토큰을 어떻게 맞추느냐보다 감독 신호를 얼마나 믿을 수 있느냐가 더 중요하다고 짚었다.