AI 术语表 · 基础 · 语言模型
分词器
分词器是把文本转换成模型可读的 token 片段和编号，并把模型输出的编号还原为文本的转换器。每个模型都有自己固定的分词器。
通俗解释 它就像摩尔斯电码表，是一本在文字和符号之间相互转换的词典。不同的是，它不是逐字转换，而是以经常出现的字符组合为单位进行转换。
工作原理
分词器从训练数据中收集经常一起出现的字符组合，构建词表。文本输入后，按照词表切分成片段，并给每个片段编号。常用的单词成为一个片段，罕见的单词被拆成多个片段。标记对话开始·结束的特殊 token 也一并包含在词表中。
文本被切分成 token 的样子
英语4조각
Tokenization is useful
韩语5조각
토크나이저는 유용하다
在哪里看到
Hugging Face 模型仓库中的 tokenizer.json、tokenizer_config.json 等文件就是分词器。配置文件中的词表大小（vocab size）指词表中包含的片段数。API 价目表中的 token 数和上下文窗口长度，也都是用这个分词器统计的数值。可以用 AI 公司提供的 token 计算器直接查看自己的文本有多少个 token。
注意事项
同一句话在不同模型中的 token 数不同，因此在比较不同模型的上下文窗口或费用时要考虑这一差异。像韩语这样在训练数据中出现较少的语言，表达同样内容时有时需要更多 token。如果使用与模型不匹配的分词器，编号会对不上，导致输出错乱。由于数字或空格被切得很细，在计算或数字符数之类的任务中也可能出错。
示例
一位在估算 API 成本的开发者把同一份韩语文档放进两个模型的 token 计算器，发现 token 数相差不小，由此意识到不能只看单价来选择。在研究方面，分词器也是重要变量。本站介绍过的一项研究指出，在分词器不同的教师模型和学生模型之间进行 On-policy Distillation 时，监督信号的可靠程度比如何对齐 token 更重要。
本站出现过的地方
- 论文 重新审视分词器不同的模型间 On-policy Distillation：监督信号的可靠性比对齐范围更重要 2026-10-08