Telperion发布KV缓存缩减至四分之一的“Qwen3.8-27B-MLA”和“GLA-g2”变体模型(社区转述)
发布 2026年10月14日
已核实(事实)
Telperion发布了在Qwen3.8-27B上应用Latent Attention的变体模型“Qwen3.8-27B-MLA”和“Qwen3.8-27B-GLA-g2”。量化版本针对FP8 KV缓存进行了校准,据称通过将KV缓存压缩4倍,可在消费级硬件上将最大上下文、在服务器上将并发吞吐量分别提升近4倍。
待核实(说法)
Telperion称,MLA变体的SWE性能提升6.58%(并称差异具有统计可区分性),推理token用量最多减少20%。资料中没有评估的详细条件。
意义(解读)
如果通过后处理转换缩减现有开放模型KV缓存的方法行之有效,就能在本地和服务器环境中降低长上下文成本。
可信度 低 · 待补官方来源