AI 术语表 · 入门 · 语言模型

Token

Token 是 AI 语言模型处理文本时使用的最小单位片段。它可能是一个单词，也可能是单词的一部分或几个字符。

关于这个术语

通俗解释 就像用乐高积木搭房子一样，AI 把句子拆成称为 token 的积木来读取，再把积木拼接起来生成回答。不同的是，积木的大小因语言和单词而各不相同。

工作原理

把文本输入 AI 后，首先由名为“分词器”的工具把文本切成 token。常用的单词整体成为一个 token，罕见的单词则被拆成多个 token。每个 token 被转换成数字输入模型，模型逐个预测下一个 token，写出回答。

文本进入模型的路径 分词器把文本切成片段（token），再把每个 token 转换成数字输入模型。切分方式和编号因模型而异，图中的数值仅为示例。

许多 AI 服务根据使用的 token 数收费。模型一次能读取的内容量（上下文窗口）也由 token 数决定。因此理解 token，就能估算成本和可处理的文档长度。

即使内容相同，不同语言所需的 token 数也可能不同。一般来说，韩语等语言往往比英语被切成更多 token。此外，每个模型的分词器不同，同样的文本在不同模型中的 token 数也会不同。

同样的意思，不同的片段数

英语4조각

Tokenization is useful

韩语7조각

토큰화는 유용하다

这是帮助理解的示例。实际的切分方式和片段数因模型的分词器而异。

查看 AI 服务的价目表，常会看到“输入 token”和“输出 token”分别标价。本站新闻中也有以“每百万 token”为标准介绍新 API 价格的例子，可见 token 被用作衡量 AI 用量的基本单位。