专题深读 · 2026-11-13 · 进阶 · 作者 bombong
线性注意力:用固定大小的状态读取长上下文
线性注意力不使用不断增长的KV缓存,而是把过去的上下文压缩进一个大小固定的状态。这样节省了内存,但精确检索能力变弱。近期研究为弥补这一弱点,集中于改进向状态写入、擦除和读取的规则,以及让状态的处理适配硬件和推理服务环境。
- 线性注意力把softmax注意力不断增长的KV缓存换成固定大小的状态,使训练计算量与上下文长度成正比,解码内存保持恒定。
- 难点不只是该遗忘什么。关键在于修改压缩记忆时不让已存储的关联混在一起,Delta规则和门控正是为解决这个问题。
- 从DeltaNet到Gated DeltaNet、KDA,再到Gated DeltaNet-2,衰减细化到了逐通道,擦除量和写入量也可以分别调节。
- 固定大小的状态不擅长从上下文中精确找出特定信息。因此,实际模型大多采用混入softmax层的混合架构,改进读取阶段或以块为单位访问过去信息的研究也在持续进行。
- 在推理服务中,状态的存储格式和精度决定性能。低秩压缩可以改善内存和速度,但如果bf16舍入处理不当,推理模型的回答会变长、准确率下降。
为什么需要它:只增不减的KV缓存
Transformer的核心softmax注意力为每个token扫描整个上下文,提取所需信息。这种方式很强大,但成本随上下文长度的平方增长,在长上下文中训练和推理都会受限,这是线性注意力对比研究(paper)的出发点。在生成阶段,前面各token的键和值会累积在KV缓存(为复用已计算的中间结果而保存的内存)中。而这个缓存会随上下文变长而无限增大。
线性注意力把这个无限增大的缓存换成大小固定的循环状态。借用Gated DeltaNet-2(paper)的说法,这样一来,混合token的运算降为线性时间,解码内存降为常数。视频世界模型研究HLA-WM(paper)也给出了同样的对比:softmax注意力把整个生成历史留在不断增长的KV缓存中,而循环式线性注意力把历史压缩成固定大小的状态,内存占用少得多。
代价也很明显。CCQ研究(paper)指出,线性注意力在从上下文中查找信息的任务和长上下文任务上一直落后。因此,这一领域的问题归结为:“在固定大小的容器里放什么、怎么放,擦掉什么,又怎么取出来”。
核心思路:反复改写一张白板
先打个比方。softmax注意力就像把会议记录一张不丢地堆进文件柜,有问题时翻遍整个文件柜。线性注意力只用一张大小固定的白板。每有新内容进来就改写白板,有问题时只看白板。文件柜不断变多,白板却始终一样大。
这里的状态是一个矩阵,存放“输入键就能取出值”的联想记忆。Gated DeltaNet-2(paper)从更新快速变化的权重(fast weight)的角度来解释它。每进来一个token,这个小权重矩阵就被稍作修改;把查询乘以这个矩阵,就能读出相关的值。
同一篇论文这样概括难点:问题不只是“遗忘什么”,还有“如何在不打乱已存储关联的前提下修改压缩记忆”。如果只是把新内容叠写在白板上,字迹就会混在一起。因此,Delta规则系列模型在写入新值之前,先减去当前键所读出的已有内容。相当于擦掉绑定在同一个键上的旧值,再在原处写入新值。
也要说清这种设计做了什么取舍。线性注意力放弃了“随时按原文重新查看的能力”,换来了“与上下文长度无关的恒定内存”。此后的大部分研究,都是在探讨能从这笔交易中找回多少失去的东西。
softmax注意力与线性注意力
softmax注意力全部堆进文件柜
- 可以重新查看整个上下文
- KV缓存随上下文长度增长
- 成本随长度平方增长
线性注意力在白板上改写
- 状态大小固定
- 解码内存恒定
- 不擅长精确检索和长程记忆
공통 两者都是把过去token的信息混入当前token的层
工作原理:衰减、擦除、写入、读取
推理时,Gated Delta系列层对每个token按以下顺序更新状态。第一,由当前token生成键、值和查询。第二,通过衰减(decay)让整个状态稍微变淡,逐渐遗忘旧记忆。Gated DeltaNet根据输入调节遗忘程度,Kimi Delta Attention(KDA)则让每个通道以不同速度遗忘,对遗忘的控制更精细(paper)。第三,擦除当前键读出的已有预测。第四,把新值绑定到键上写入。第五,用查询读取状态,生成输出。
Gated DeltaNet-2(paper)指出了现有方法在第三、第四步的局限:同一个标量门同时决定在键侧擦除多少旧内容、在值侧写入多少新内容。因此它分别设置了逐通道的擦除门和写入门。两个门合并为同一个标量时就是KDA;如果衰减也合并为一个值,就是Gated DeltaNet。也就是说,它是把前两个模型作为特例包含在内的推广。
训练时情况不同。如果逐个token按顺序更新状态,就无法发挥GPU的并行计算能力。因此把序列切分成块(chunk,固定长度的片段)。块内计算以矩阵乘法一次性处理,块与块之间只传递状态。Gated DeltaNet-2同时提出了把逐通道衰减吸收进擦除侧系数的分块算法,以及考虑门控的反向传播,从而保留了这种并行训练。
实际模型很少只堆叠线性层,多数是混入部分softmax注意力层的混合架构。对比研究(paper)中,混合配置总体上降低了损失,但训练吞吐量也相应下降。
发展脉络:从写入规则到读取和硬件
第一条脉络是改进写入规则,从DeltaNet、Gated DeltaNet、KDA发展到Gated DeltaNet-2(paper)。Gated DeltaNet-2报告称,在用FineWeb-Edu的1,000亿token训练1.3B参数模型的实验中,与Mamba-2、Gated DeltaNet、KDA、Mamba-3系列相比,它在语言建模和常识推理等方面综合表现最好。对比研究(paper)用统一的循环记忆表示整理了这四种架构,揭示了它们在表达能力、记忆衰减、擦除与写入控制、训练吞吐量和实现难度上的差异。在用150亿token训练350M参数模型的范围内,用Muon优化器训练的KDA最终验证损失最低,用AdamW训练的纯Gated DeltaNet配置训练吞吐量最高。
第二条脉络在读取侧。CCQ(paper)指出,以往的改进大多集中在写入侧,读取阶段没有变化。由于过去所有的键都会累加到输出中,真正需要的信息会被其余大量向量淹没、稀释。该研究以与状态相同的循环方式持续更新键的协方差,并在读取前缩小查询在记忆高度集中方向上的分量。把它加到GLA和Gated DeltaNet上后,S-NIAH检索、从4K到20K的长度外推以及LongBench准确率都有提升。HLA(paper)为Gated DeltaNet加入了路由机制,为每个查询决定纳入哪些过去的块、纳入多少。在Qwen3.5 0.8B~9B模型上,LongBench-V2最多提升5.57个百分点,RULER最多提升3.97分。在从零训练1.3B模型的实验中,RULER的提升幅度从4K上下文的0.83分扩大到32K上下文的4.22分。HLA-WM(paper)确认Gated DeltaNet存在严重的长程遗忘:远处场景的信息被后续更新挤压,逐渐减弱。为解决这一问题,它无需额外训练,加入了一种利用相机几何信息查找相关过去块、为每个查询重新组装状态的方法。在60秒上下文中,与完整KV缓存相比,它把过去状态的内存减少到1/12,同时PSNR提高0.74dB,旋转误差降低28.5%。
第三条脉络是实际构建和运行的问题。Taylor-Calibrate(paper)研究把预训练Transformer转换为混合Gated DeltaNet的过程。仅仅原样复制注意力投影,无法确定衰减门、写入门和输出门的行为,因此转换后的模型从较差的状态起步。该研究用教师注意力的统计量初始化这些值,比简单转换少用4.9~9.2倍的训练token就达到了相同的恢复目标。Systolic Linear Attention(paper)表明,把为GPU设计的Gated Delta层原样移植到TPU上,256×256矩阵单元的tile约有一半空闲,向量运算也会出现瓶颈。将键宽度扩大到256,并把衰减门分成四组、每组64个通道来重新设计kernel后,它在TPU v7x上比开源的Tokamax KDA kernel快1.6~2.5倍。在2,048芯片规模的MoE预训练中,它在保持相近perplexity的同时,训练速度比KDA快11~24%。
最新方向:改进门控与处理状态
在结构方面,出现了探讨门控参数应放在何处、用多少的研究。Muir(paper)分析指出,状态更新对擦除远不如对写入敏感。键的能量集中在部分通道,而值的写入会影响所有通道,因此擦除门可以做成低秩。研究还发现,衰减越慢的状态行数值越大,会主导读取结果,因此加入了按行重新加权的读取门。节省下来的参数被重新用于更宽的前馈层。在166M~1.34B规模下,其perplexity比Gated DeltaNet-2低1.8~2.0%。
在服务方面,则是直接压缩状态本身。SinkState(paper)确认了线性层的查询、键、值集中在稳定的低维子空间这一现象,并将其称为“线性注意力汇聚(sink)”。因此,尽管每个状态实际上是低秩的,现有服务系统仍将其作为稠密矩阵保存,并在每个解码步骤中整体读取、再整体写回。这部分内存搬运量随批大小增加,占据了解码成本的大部分。SinkState以低秩形式保存状态,在4B~120B的四种混合模型上将状态峰值内存最多降低2.6倍,并将解码速度最多提升1.58倍。
精度问题也随之暴露。Lost in Rounding(paper)表明,若将Mamba-2或Gated DeltaNet层的状态以bf16存储并采用就近舍入,六个混合推理模型中有五个会推理得更长。在Qwen3.5-9B上,触及32K token上限的题目从118个增至223个,准确率从85.6%降至70.8%。在相同的bf16位宽下改用随机舍入,准确率回升至87.6%。作者得出结论:这种失败主要源于舍入偏差,而非表示分辨率不足。由于状态在每一步都会累积并延续下去,这说明存储格式本身就是模型质量的一部分。
近期研究中值得关注的数据
局限与争议:何时使用,何时避免
最大的局限仍是精确检索。CCQ(paper)指出的读取稀释问题和HLA-WM(paper)确认的长程遗忘,都源于固定大小状态的结构性特点。如果任务需要在长文档中原样找出特定语句,与其使用仅由线性层构成的模型,不如先考虑混合了softmax层的混合模型或读取增强技术,这样更稳妥。不过,正如对比研究(paper)所示,混合模型在降低损失的同时会牺牲吞吐量。
解读数据时也有需要注意的地方。对比研究(paper)自己说明,它只测量了训练吞吐量和迭代时间,没有提供推理速度基准测试。多项结构研究的实验也大多在1B参数左右进行。不应把这些结果解读为“在服务中也能快这么多”。
运营中常见的错误有三种。第一,把状态精度当作节省内存的设置,直接使用bf16舍入。如Lost in Rounding(paper)的结果所示,推理长度和准确率可能一同波动。第二,把为GPU调优的内核原样移植到其他加速器上。Systolic Linear Attention(paper)显示,在TPU上矩阵分块约有一半是空的。第三,只复制现有Transformer的权重就立即开始蒸馏。据Taylor-Calibrate(paper),这样做会让相当一部分训练token被用于纠正初始化。
总之,线性注意力适合长上下文生成中内存成为瓶颈的场景,或并发请求较多、希望每个请求占用的内存保持恒定的场景。相反,如果精确提取上下文中的原文是核心质量指标,就应先确认混合比例和检索任务评估。
引入线性注意力前的检查
用途
- 精确提取原文是否为核心质量指标
- 是否评估了混合比例和检索任务
- 内存是否确实是瓶颈
数据解读
- 是否把训练吞吐量当成了推理速度
- 实验规模是否与自己的模型相近
运营
- 是否确认了状态存储精度和舍入方式
- 内核是否针对自己的加速器做了调优
- 转换时是否单独做了门控初始化
延伸阅读
要先建立整体框架,可以从线性注意力对比研究(paper)读起。它用统一的记号比较DeltaNet、Gated DeltaNet、KDA和Gated DeltaNet-2,读后续论文的公式会容易得多。接着在Gated DeltaNet-2(paper)中了解分离擦除与写入的原因,以及分块(chunk)训练算法。
关于弱点及其补救办法,建议把CCQ(paper)和HLA(paper)配对阅读。前者改进读取阶段,后者改进按查询的分块访问。应用案例方面,HLA-WM(paper)展示了长程遗忘在视频世界模型中如何显现。
如果关注实践,可以通过Taylor-Calibrate(paper)了解转换现有模型的方法,通过Systolic Linear Attention(paper)了解面向硬件的设计,通过SinkState(paper)和Lost in Rounding(paper)了解服务时的状态管理。最新的结构设计方向可以接着读Muir(paper)。
相关术语
注意力 Transformer KV 缓存 状态空间模型 RNN 上下文窗口 精度(FP32、BF16、FP8) Distillation
参考资料
奠基论文
- Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing (2026)
- Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention (2026)
- Don't Read Everything: A Curvature-Conditioned Query for Linear Attention (2026)
- HLA: Expressive Hybrid Linear Attention via Chunk-Wise Dynamic Mixing (2026)
- HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models (2026)
- Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation (2026)
- Systolic Linear Attention: Co-Designing Tile-Grouped Gated Delta Attention for TPUs (2026)
最新研究
由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。