AI 术语表 · 进阶 · 效率与基础设施
KV 缓存
KV 缓存是一种机制：LLM 逐个 token 生成文本时，把前面已经计算好的中间结果（Key 和 Value）存入内存并重复使用。
通俗解释 这就像为一本长书写摘要时，不是每写一句就从头重读一遍，而是看着边读边记的笔记写下一句。不过，书越长，笔记本也会越来越厚。
工作原理
Transformer 模型通过一种叫注意力的计算生成新 token 时，会参考前面所有 token，此时要为每个 token 计算 Key 和 Value 值。首先一次性读入整个提示词，生成这些值并存入 KV 缓存。之后逐个生成 token 时，从缓存中取出已有的值使用，只计算新生成 token 的 Key·Value 并追加到缓存中。因此无需每次都重新计算前面的部分。
为什么重要
没有 KV 缓存的话，回答越长，重复计算越多，速度会大幅下降。有了缓存，聊天机器人才能快速续写长回答。反过来，缓存会占用大量 GPU 内存，上下文窗口越长、同时服务的用户越多，内存就越容易成为瓶颈。因此，许多旨在降低推理成本、提升速度的技术都集中在如何节约使用 KV 缓存上。
注意事项
KV 缓存不是模型学到的新东西，而是在单次对话或请求内复用计算结果的临时存储。节约手段有很多，例如把缓存压缩成较小数字格式的量化、把内存分块管理的方式、丢弃较旧部分的方式等。当多个请求共享相同的开头部分时，可以复用这部分缓存，这正是提示词缓存的基础。缓存压缩过度可能降低回答质量，因此需要取得平衡。
示例
提供 LLM 服务的推理引擎，其吞吐量在很大程度上取决于 KV 缓存管理的效率。正如本站报道的“vLLM v0.31.0 发布……重点优化 DeepSeek-V4.1-Flash 推理性能”，开源推理引擎的更新往往侧重于让新模型跑得更快、更便宜，而 KV 缓存管理是其中的核心要素之一。在视频生成研究中，生成长视频时如何运用 KV 缓存也是一个课题。
本站出现过的地方
- 论文 TRACE：面向 MoE 语言模型 FP4 强化学习的基于 Rollout 的 QAT（量化感知训练） 2026-10-08
- 简报 vLLM v0.31.0 发布……重点优化 DeepSeek-V4.1-Flash 推理性能 2026-10-07
- 论文 In-Distribution Forcing：面向测试时长视频生成的分布内 KV 运用 2026-10-07