AI 术语表 · 基础 · 语言模型
Transformer
Transformer 是一种人工神经网络架构，其核心是注意力机制，即同时衡量句子中各个词（token）之间的关联程度。如今大多数 LLM 都以这一架构为基础。
通俗解释 就像会议上所有参会者同时听到彼此的发言，并挑出与自己当前想法最相关的那位仔细倾听。实际上承担这一角色的不是人，而是用数字进行的关联度计算。
工作原理
首先把句子切分成名为 token 的小片段，并把每个 token 转换成一组数字（嵌入）。再加上表示“位于第几个位置”的位置信息。接下来在注意力步骤中，每个 token 查看句子里的其他 token 并汇集相关信息，随后的前馈步骤再对这些信息做进一步加工。由这两个步骤组成的层（块）堆叠重复数十次，对上下文的理解就会逐步加深，生成式模型最后会预测下一个 token。
为什么重要
Transformer 出现之前常用的 RNN 从前往后逐词处理文本，难以处理长文本，速度也慢。Transformer 可以一次性处理整个句子，便于用 GPU 分摊大量计算。因此，模型和数据规模越大、性能越好的趋势成为可能，这也奠定了如今 LLM 的基础。除了文本，Transformer 架构还广泛用于图像、语音、机器人控制等领域。
注意事项
注意力需要比较所有 token 对，因此输入越长，计算量和内存增长得越快。为了减轻这一负担，出现了 KV 缓存、MoE、与状态空间模型混合的架构等多种改进。另外，Transformer 指的是一种“架构”，即使同为 Transformer，能力也会因使用什么数据、如何训练而有很大差异。
示例
聊天机器人、翻译工具、编程助手等 LLM 服务大多基于 Transformer 构建。研究人员仍在不断改造这一架构。本站介绍过的“ALoDLM”是一种按 token 调节循环深度的循环式扩散语言模型，它尝试让每个 token 只按需要重复计算，而不是所有 token 都处理相同次数。
本站出现过的地方
- 论文 ALoDLM：按 token 调节循环深度的循环式扩散语言模型 2026-10-07