STEPQuant：Delta-rule 循环状态量化中误差何时、何处重要

问题

线性注意力不使用 KV 缓存，而是使用固定大小的循环状态（recurrent state）。但每个并发请求都要单独维护一份状态，因此并发请求增多时，状态内存也随之增大。作者报告称，用 SGLang 部署 Qwen 时，并发请求达到 70 个，FP32 状态池就会超过 BF16 权重的内存。如果对这一状态做简单的均匀量化，每个解码步的误差都会传播到下一个状态。结果是在 4 位和 6 位下准确率大幅下降，8 位下也仍有差距。

方法

STEPQuant 将误差分为时间轴和空间轴分别处理。(1) Lifetime-aware Bit Allocation：利用门控 retention 估计每个状态单元（Qwen 为头，KDA 为 key row）的记忆寿命，然后以最小化“量化误差 × 寿命权重”为目标混合分配比特。风险最高的部分单元保留为 FP16 pivot。这一分配在离线校准中确定一次，之后对所有请求固定使用。(2) Key-Row-Aware Dual-axis Fitting：状态矩阵中，key row 和 value column 两个方向上都会出现离群值，因此分别设置行缩放和列缩放。行缩放同时考虑该行的大小及该行对输出误差的影响分数。列缩放则以最小化对影响大的行加大权重后的重构误差为目标进行拟合。最后，将状态恢复、Delta 更新和 readout 融合为一个 GPU 内核，并集成到 SGLang 中。

结果

• Qwen3.8-27B 在 7 个长文本生成推理基准（BF16 权重）上的平均准确率：FP32 状态 80.60，STEPQuant 6 位 80.59，4 位 80.51。均匀 INT8 仅为 71.86，INT6 为 45.04，INT4 为 12.73。
• 作者报告称，4 位 STEPQuant 在两个模型上都高于均匀 INT8。在 Qwen 上几乎接近 FP32，在 Kimi-Linear-48B-A3B 上仍有小幅差距。
• 6 位 STEPQuant 将循环状态内存在 Qwen 上压缩 5.03 倍，在 Kimi 上压缩 5.08 倍。包括模型权重在内的整体服务内存分别减少 68.7% 和 53.7%。
• 借助优化内核，状态更新速度最高提升 2.91 倍。
• 在 Qwen 的 2,304 个循环头中，门控 half-life 与累积状态误差之间的 Spearman 相关系数约为 0.80。这一结果支持了“寿命越长的状态误差越大”的假设。

局限

评估仅限于 2 个 gated Delta-rule 系列混合模型（Qwen3.8-27B、Kimi-Linear）和 A800 GPU 环境。Kimi 的 4 位设置相对 FP32 仍有差距。比特分配、FP16 pivot 和行影响分数是用 WikiText-2 的 32 个片段（各 2,048 个 token）离线确定后，对所有请求固定使用的。因此，仅凭本实验无法判断输入分布差异很大时性能能否保持。此外，“6 位”是包含 FP16 pivot 在内的名义预算。

意义

线性注意力和混合模型在长上下文中内存效率较高。但在并发服务中，循环状态成为新的内存瓶颈。本研究分析了状态量化失败的原因，并给出了集成到 SGLang 中的实用方案。对于希望降低混合模型服务成本的团队有直接参考价值。

关键术语

循环状态（Recurrent State）

线性注意力用来汇总存放过往 token 信息的固定大小矩阵。序列变长时其大小不变，但每个请求都需要维护一份。

Gated Delta Rule

一种状态更新规则：用 retention 门控衰减先前状态，并沿当前 key 方向校正误差后写入新值。Gated DeltaNet 和 KDA 采用这种方式。

混合精度量化（Mixed-precision Quantization）

一种量化方式：对敏感部分分配更多比特，对不敏感部分分配较少比特。目的是在相同的平均比特预算下更好地保持准确率。

训练后量化（PTQ）

无需重新训练，仅用少量校准数据确定量化设置的方法。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• Hugging Face

作者: Bingchen Yao, Haobo Xu, Haokun Lin, Yichen Wu, Ziyu Guo, Renrui Zhang, Zhichao Lu, Zhenan Sun, 等 · 发布 2026-09-29 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。