MemT-1.0：将记忆内置于模型中的 Memory-Native 演进

问题

当前的 LLM 要记住过去的对话或经验，必须重新输入全部上下文或接入外部检索系统。上下文越长，KV 缓存越大，推理越慢。作者认为，正如推理和多模态那样，记忆也应内化为模型计算的一部分，而不是外部系统。此前的研究 Metis 是首次尝试，但仍留下了 token 选择式记忆更新和记忆容量有限的问题。

方法

在选定的每个 Transformer 块上附加与原注意力并行运行的记忆注意力块。记忆分为每轮更新的 dynamic local memory 和通过训练获得的 hyper memory。将 Metis 的 token 选择改为基于 GDN-2（Gated DeltaNet-2）的 token 级更新，并在 erase gate 上加入取平方根的稳定项，防止记忆状态发散。为扩大容量引入了 Mixture-of-Storage（MoS），与一般稀疏 MoE 不同，它采用所有记忆专家都参与的 dense 路由，存储用和利用用路由器共享同一地址矩阵，但学习不同的投影。在骨干网络准备阶段之后，经过用 34B token 进行的继续预训练（CPT）和后训练两个阶段。公开了 Nano 36B（激活 3B，动态记忆 10M）和 Flash 288B（激活 17B，动态记忆 336M）两种规模。

结果

• 作者报告，在 11 个记忆基准上平均超过参数化记忆基线，并与检索增强方法具有竞争力。推理时无需访问原始上下文即可利用过去的信息。
• 在历史长度 128K token 下，MemT-1.0-Nano 相比全上下文 KV 缓存 end-to-end 推理快约 1.86 倍，持久存储容量减少 66 倍。
• 作者报告，在噪声设置下通用能力大体得到保留。
• 通过将检索到的程序性经验内化到原生记忆中，在 SWE-bench Verified 和 SWE-bench Multilingual 上，平均成功率和重复运行一致性均优于无经验的智能体，与显式文本经验水平相当。
• 在骨干网络准备实验中，8 次尝试一次都没解出的任务在后训练后在 4 个基准上也仅为 1.6~4.0%；而在另一组高难度知识问题集上，把相关事实作为上下文提供后，准确率从 27% 升至 91%。

局限

正如作者所说，记忆容量本身是新的扩展维度，仍处于探索初期。相对作为对比对象的检索增强方法，并非超越而是“具有竞争力”的水平；通用能力也是“大体”得到保留的说法，存在一定损失。34B token 的训练数据相比一般基础模型的训练规模较小，并且由于是保持状态的推理，需要专门的基础设施来按轨迹隔离记忆。提供的正文在骨干网络准备一节中途被截断，未能确认各基准的详细数值。

意义

不必每次重新输入长上下文，而是以固定大小的记忆状态保存，交互累积后存储容量也不会增长。这是可能改变长期运行智能体成本结构的方法。在编程智能体中把过去的程序性经验放入记忆以提高成功率的结果表明，记忆不仅能用于简单回忆，还能起到多步执行指引的作用。代码和模型已公开，便于验证和后续研究。

关键术语

Memory-Native

不把记忆功能放在外部数据库或检索系统中，而是将其内置为模型计算本身一部分的设计方向。

Gated DeltaNet-2(GDN-2)

通过门控写入和擦除记忆来更新状态的线性注意力类结构。保持固定大小的状态，而不是随上下文长度增长的 KV 缓存。

Mixture-of-Storage(MoS)

将记忆块扩展为多个专家，但采用所有专家都参与的 dense 路由的方式。存储用和利用用路由器共享同一地址。

KV 缓存

存储 Transformer 已处理 token 的键和值以避免重复计算的缓冲区。上下文越长占用内存越多，成为推理成本的瓶颈。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Zhiyu Li, Zeyu Zhang, Linyun Liu, Yiwei Bu, Chenyang Xi, Xichong Zhang, Yi Yu, Yu Yu, 等 · 发布 2026-10-19 · 许可 CC BY-NC-SA 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。