提示缓存
提示缓存是一种将每次都原样输入 LLM 的提示词开头部分的计算结果保存起来，在下一次请求时重复使用的技术。由于不必从头重新计算相同内容，响应更快，成本也更低。
通俗解释 这就像在常去的餐馆说一句“老样子”，就不必从头再解释一遍点单内容。不过，正如菜单只要稍有变化，后面的部分就得重新说明一样，只要开头部分有一个字不同，就无法使用缓存。
工作原理
LLM 在读取文本时，会为每个词元生成中间计算结果，并以 KV 缓存的形式存放在内存中。提示缓存会在请求结束后仍将这些计算结果保留一段时间。如果下一次请求的开头部分与之前完全相同，就直接调用已保存的结果，只计算新附加的问题部分。因此，诀窍是把不会变化的系统提示词、长篇参考文档、工具说明等内容放在提示词的最前面。
为什么重要
如今的 AI 服务经常每次都附带长篇指南和文档一起发送，反复计算相同内容会耗费大量时间和费用。使用提示缓存后，得到第一个响应所需的时间会缩短。多家 AI 提供商以对从缓存中重新读取的词元收取低于普通输入的费用的方式提供这一功能。在长时间持续对话的聊天机器人，或反复使用同一工具列表的 AI 智能体中，效果尤其明显。
注意事项
缓存只适用于提示词中“从开头起完全相同的部分”。如果前面包含日期或用户名等每次都会变化的内容，其后的部分都必须重新计算。缓存通常会在一段时间后失效，因此对请求不频繁的服务来说效果可能有限。各服务在是否自动应用缓存、是否需要开发者手动指定以及如何计费方面各不相同，应查阅所用平台的文档。
示例
设想一个放入了整套公司规章文件、用于回答员工问题的内部聊天机器人。规章文件每次都相同，只有问题在变，因此只要缓存文件部分，从第二个问题起就只需计算新问题。正如本站介绍的“AWS 在 Amazon Bedrock 上提供 Z.ai 的 753B MoE 模型 GLM 5.3”这条消息所示，随着在云端租用大型模型的服务越来越多，是否支持这类降低成本的功能也成为选择模型的标准之一。
本站出现过的地方
- 简报 AWS 在 Amazon Bedrock 上提供 Z.ai 的 753B MoE 模型“GLM 5.3” 2026-10-07