AI 术语表 · 进阶 · 效率与基础设施
推测解码
推测解码是一种加快 LLM 生成回答速度的技术：由小模型先快速猜测接下来的多个 token，再由大模型一次性检查这些猜测，只接受其中正确的部分。
通俗解释 这就像动作快的新人先写出报告草稿的几句话，细致的组长一次性看完，正确的部分原样保留，只改写第一处出错的地方。这比组长一句一句亲自写要快，而成果仍符合组长的标准。
工作原理
LLM 通常按顺序逐个生成 token，模型越大，每个 token 花的时间就越多。在推测解码中，小而快的“草稿模型（draft model）”先续写接下来的几个 token。然后大模型通过一次计算同时检查这些候选，在自己也会这样写的范围内予以接受，并把第一个出现偏差的位置换成自己的答案。重复这一过程，句子就不断续写下去。
为什么重要
大模型耗时较长，相当一部分原因不在于计算本身，而在于每生成一个 token 都要从内存中读取模型参数。一次检查多个 token 可以分摊这部分开销，从而加快响应。由于最终检查由大模型负责，只要实现得当，回答质量就与大模型单独生成时相同。因此，它被广泛用作无需更换模型或重新训练就能提升服务速度的方法。
注意事项
速度提升在很大程度上取决于草稿模型猜中的频率。如果猜测经常出错，只检查后丢弃的情况就会增多，收益反而下降。单独运行草稿模型还会多占用一些内存和算力。也有一种变体方式，不使用单独的小模型，而是在大模型上附加一个预先预测多个 token 的部分。
示例
在聊天机器人、编程助手等用户需要等待回答的服务中，推测解码是提升响应速度的代表性推理优化方法。例如，把同一系列的大模型和小模型配对，由小模型先续写几行代码，再由大模型确认。像代码或固定格式的文档这样后续内容容易预测的场景，猜测更容易命中，效果也更明显。多款 LLM 推理服务软件都将这一功能作为选项提供。