AI 术语表 · 进阶 · 语言模型
注意力
注意力（Attention）是 AI 模型在处理句子等输入时，对与当前处理的词关系密切的其他词赋予更大权重来汇集信息的方法。它是 Transformer 架构的核心组件。
通俗解释 这类似于在一份很长的会议纪要里看到“那个议题”时，回到前面重新找到该议题首次出现的句子。不同的是，人只会挑几处来看，而注意力会同时扫过所有词，并用数字给出相关程度。
工作原理
输入首先被切分成称为 token 的小片段，每个 token 再转换成承载含义的一组数字（嵌入）。每个 token 带着“我要找的信息”（Query），与其他 token 所具有的“我是这样的信息”（Key）进行比较，算出彼此有多相关的分数。分数越高的 token，其内容（Value）混入得越多，从而形成新的表示（Representation，模型内部使用的表征）。从多个角度同时进行这一过程，称为多头注意力。
为什么重要
以前的方法（RNN）按顺序逐个读取词，容易遗漏相距较远的词之间的关系。注意力可以一次性让句子中所有位置相互比较，因此能更好地理解长上下文。它的计算便于并行处理，可以在 GPU 上快速运行，正因如此，训练超大规模 LLM 才成为可能。它不仅用于文本，也广泛用于图像、视频和语音模型。
注意事项
由于要比较所有 token 对，输入越长，计算量和内存占用增长得越快。这一问题使得扩大上下文窗口变得困难，并催生了 KV 缓存等优化技术，即把已经算好的 Key 和 Value 存起来。还要注意，注意力分数高，并不等于直接解释了模型“为什么”做出那样的判断。减少计算量的注意力变体、状态空间模型等替代方案也在研究之中。
示例
把 LLM 作为服务运行的推理引擎，其速度在很大程度上取决于能否高效处理注意力计算。本站介绍过的“vLLM v0.31.0 发布……聚焦 DeepSeek-V4.1-Flash 推理性能优化”这类消息，归根结底也与在内存中更好地管理注意力和 KV 缓存、从而加快响应的工作密切相关。
本站出现过的地方
- 简报 vLLM v0.31.0 发布……聚焦 DeepSeek-V4.1-Flash 推理性能优化 2026-10-07
- 论文 Kandinsky 6.0 Video：同步生成视频与音频的基础模型 2026-10-07