自回归模型
自回归模型（Autoregressive model）是这样一种模型：它根据目前已生成的结果预测紧接着的下一个片段，再把这个片段接到输入后面，继续预测下一个，如此反复来生成结果。如今大多数 LLM 都用这种方式写文字。
工作原理
用户输入提示词后，模型会看整个句子，计算“下一个 token”是什么的可能性概率，并从中选出一个。选出的 token 接在原句末尾，再把变长的句子重新输入模型，继续选下一个 token。这个过程一直重复，直到出现表示结束的信号或达到预设长度。“自回归”这个名字，来自把自己刚生成的输出再当作自己的输入这一含义。每次都重新读取前文会造成很大浪费，因此会同时使用 KV 缓存等技术，把已经算好的前文信息存起来重复利用。
为什么重要
仅凭“猜下一个 token”这一简单目标，就能学习互联网上海量的文字，无需另外标注答案，因此很适合大规模预训练。大多数基于 Transformer 的 LLM 都采用这种方式，还有许多模型把图像、语音、视频也转换成 token，用同样的方式生成，而不仅限于文字。因此可以说，自回归方式是当前生成式 AI 最基础的生成原理。
注意事项
由于每次只能按顺序生成一个 token，结果越长，耗时越久，也难以并行处理。为缓解这一问题，会采用推测解码等技术：由小模型先猜测多个 token，再由大模型一次性检查。此外，前面一旦选错 token 就无法撤回，只能在其基础上继续往下生成，因此错误可能累积。由于这些局限，把通过多轮同时打磨整体结果的扩散模型方式应用于语言生成的研究也很活跃。
示例
向聊天机器人提问时，可以看到回答一个字或一个词地陆续出现在屏幕上，这是因为模型以自回归方式逐个生成 token 并即时显示。本站介绍的论文中，“In-Distribution Forcing”讨论了在测试时生成长视频时如何管理 KV 缓存，说明视频也可以用自回归方式生成，即看着前面的部分续写后面的部分。相反，像“ALoDLM”这样研究扩散式语言模型的工作，则属于寻找自回归方式替代方案的方向。
本站出现过的地方
- 论文 ALoDLM：按 token 调节循环深度的循环式扩散语言模型 2026-10-07
- 论文 In-Distribution Forcing：面向测试时长视频生成的分布内 KV 管理 2026-10-07