← 专题深读

专题深读 · 2026-10-22 · 进阶

智能体记忆:如何跨越对话长期记住

智能体记忆是一种让 LLM 智能体把经验和事实存放在上下文窗口之外、在需要时再取出使用的机制。近期研究已不止于存储什么,还涉及如何分类整理、何时取出、何时遗忘,以及由此带来的隐私与安全风险。

目录

观看与收听

范式转变:从聊天机器人到自主智能体 · 由 NotebookLM 生成的 AI 内容 · 韩语配音 · 提供字幕 · YouTube
要点
  • LLM 只能看到上下文窗口内的内容,因此会话结束后就会忘记之前的内容。智能体记忆把这些内容存放在外部,并在需要时重新放回。
  • 如果只在一个存储库中按语义相似度查找记忆,时间、因果和实体信息会混在一起。因此,越来越多的设计把记忆分为情景记忆、语义记忆和程序性记忆,或按多种关系图来整理。
  • 把成功的轨迹整理成程序性记忆后,即使迁移到其他模型,尤其是小模型上使用,性能也会提升。
  • REM(2610.27377)的结果表明,经验复用的瓶颈不在检索,而在于决定存储、回忆和遗忘时机的管理。
  • 记得越久,个人信息泄露和不可信信息污染的风险也越大。需要有记录来源与权限、并控制回复方式的机制。

为什么需要:对话结束就消失的记忆

LLM 每次调用时只能看到进入上下文窗口(模型一次能读取的文本量)的内容。对话变长超出窗口,或开启新会话时,之前的内容对模型来说就像从未发生过。因此,昨天告诉它的偏好今天还得重新解释,上次解决过的问题也要从头摸索。

当多个智能体协同工作时,这一局限更加突出。Intrinsic Memory Agents(paper)指出,多智能体系统受上下文窗口限制,在记忆一致性、保持各自承担的角色以及始终遵循流程的能力上存在根本性困难。

常见做法是把过去的对话切成片段并做嵌入(把文本转换为数值向量),再找出相似的片段重新放回。MAGMA(paper)认为,像这样只在一个大型存储库中按语义相似度查找,时间、因果和实体信息会混在一起,问题的意图与检索到的依据也会错位。GAM(paper)还指出了另一方面的矛盾:按对话流整体累积的记忆易于更新,却容易被短暂的噪声干扰;结构化记忆能稳定地保存知识,却难以跟上不断变化的情节。

核心思路:日记本、百科全书、菜谱笔记

想想人是怎么工作的就容易理解了。什么时候发生了什么事记在日记本里,长期不变的事实整理在百科全书里,做事的方法则另记在菜谱笔记里。智能体记忆研究的大方向也是如此:按性质分类整理记忆,再从与问题相符的那一类中取出。

Agent Zero Memory(paper)认为,只依赖一种结构就会连同该结构的盲点一并继承,因此把同一份历史同时整理成三路:记录何时发生了什么变化的情景时间线,跨会话连接人与项目的实体-事件知识图谱,以及把长期事实连同来源一起提炼的语义记忆。

相当于菜谱笔记的是程序性记忆。Memp(paper)认为,智能体的程序性记忆要么由人手工编写,要么固化在参数中,因而很脆弱;它把过去的轨迹(智能体实际执行过的行动记录)蒸馏为逐步指令和更高层级的脚本加以存储。归根结底,关键不在于存得多,而在于按什么分类整理、何时取出。

三种记忆

情景记忆何时发生了什么

  • 按时间顺序记录事件
  • 追踪发生了哪些变化

语义记忆长期事实

  • 连接人与项目的图
  • 附上来源并提炼的事实

程序性记忆做事的方法

  • 把轨迹转为逐步指令
  • 概括为上层脚本

공통 全部存放在上下文窗口之外,需要时再取出

以人的日记本、百科全书、菜谱笔记作比的智能体记忆三路分类。
2026 AI 智能体架构演进:从端侧本地化到统一治理
2026 AI 智能体架构演进:从端侧本地化到统一治理 · 由 Gemini Notebook 生成的 AI 内容

如何运作:记录 → 整理 → 回忆 → 更新

第一步是记录。GAM(paper)把记录和整理明确分开。进行中的对话单独累积在事件进展图中,只有在对话主题切换时才合并进长期主题关联网络。这一设计旨在不让瞬时噪声动摇需要长期保存的知识,同时保持长期一致性。Agent Zero Memory(paper)为记录的每一项都附上来源、时间和依据位置。

接下来是回忆。Agent Zero Memory 先经过意图确认步骤。如果仅凭问题本身就能回答,就不翻查记忆,因而不会产生延迟。需要记忆时,由来源路由器决定去哪里查找,并在三种记忆中同时运行以混合检索(同时使用嵌入检索和关键词检索的方式)为工具的检索循环。MAGMA(paper)把回忆视为在多个关系图上按策略遍历的搜索。由于根据问题选择路径,便于追踪为什么取回了那条依据。

最后是使用与更新。Agent Zero Memory 设有"引用锁定",只允许引用实际打开查看过的依据。因此编造的内容在结构上无法混入,没有依据时会暂缓回答而不是猜测。Memp(paper)设有一套流程:每当有新经验进来就持续更新记忆内容,修正错误的部分,废弃过时的部分,使存储库随经验一同演进。

智能体记忆的运作结构对话·任务记录 → 记录; 记录 → 整理; 整理 → 长期记忆; 新问题·任务 → 判断是否需要; 判断是否需要 → 回忆(需要时); 长期记忆 → 回忆; 回忆 → 回复·行动; 回复·行动 → 记忆更新(反映结果)对话·任务记录记录单独累积进行中的对话整理主题切换时合并长期记忆情景·语义·程序性新问题·任务判断是否需要意图确认回忆图·混合检索回复·行动有依据时才引用记忆更新修正·废弃·遗忘需要时反映结果
智能体记忆的运作结构 上排是积累和整理经验的流程,下排是在新任务中取出并使用记忆的流程。回复结果会再用于修正或删除记忆。

发展脉络:从记住什么到如何整理

2025 年的研究集中于定义需要哪些类型的记忆。Memp(paper)在 TravelPlanner 和 ALFWorld 上表明,程序性记忆库打磨得越好,相似任务的成功率和效率就持续提高。它还证实,把由更强模型生成的程序性记忆迁移到较弱的模型上,性能也会大幅提升。Intrinsic Memory Agents(paper)为每个智能体配置与其角色相符的记忆,并提出了无需针对每个问题重新编写提示词的通用记忆模板。它在 PDDL、FEVER 和 ALFWorld 上取得了最优或接近最优的性能,一致性最高。

到了 2026 年,记忆的结构变得更加精细。MAGMA(paper)把每条记忆同时表示在语义、时间、因果、实体这四个相互独立的图中,在 LoCoMo 和 LongMemEval 上取得了优于现有智能体记忆系统的结果。GAM(paper)借助分离记录与整理的分层图和综合考虑多种因素的检索,在 LoCoMo 和 LongDialQA 上同时提升了准确率和效率。Agent Zero Memory(paper)在此基础上加入来源追踪和引用锁定,把"可信的记忆"放在首位。

还出现了在模型之间迁移记忆的研究。Agent Memory Distillation(paper)无需额外训练,利用大型教师智能体(GPT-5-mini)的成功轨迹构建三种记忆:包含任务策略的 Workflow 记忆、作为中间粒度行动示例的 Subtask 记忆,以及包含各函数调用规则和常见错误的 Function 记忆。Workflow 记忆和 Subtask 记忆在任务开始时预先放入,Function 记忆只在工具调用出错时才取出。在 4B~8B 规模的学生模型上,平均准确率在 AppWorld 上提升 27.2 个百分点,在 BFCL V3 上提升 11.2 个百分点,在 ToolSandbox 上提升 3.4 个百分点。贡献最大的是 Subtask 记忆,获益最大的是 4B 模型。

智能体记忆研究地图 从左到右,时期和关注点逐步推移。每一组是同一时期、同一关注点的研究,并不表示直接的承继关系。

当前走向:从检索到生命周期管理

近期研究的重点正从"找好最相似的过去"转向"何时放入记忆、何时移除"。REM(paper)指出,现有记忆系统只专注于检索。检索看不到正在运行的智能体的状态,因此无法判断智能体现在是否需要经验、在什么时间点需要、需要多久。

REM 在智能体的思考-行动循环内明确做出三项决定。存储什么:把已完成的轨迹压缩成分步骤结构的文档,这份文档比原始轨迹小两个数量级。何时取出:这份文档在任务开始时放入,而成本更高的实现记录只在循环内的关卡检测到智能体陷入迷茫时才放入。遗忘什么:实现记录展示一次后即删除。

在仓库级缺陷修复基准(SWE-ContextBench Lite)上,REM 找到相关轨迹的准确率高于现有最佳记忆系统(match@1 68.7% 对 55.6%),最终解决率在所有重复实验中也都有所提高(27.6% 对 24.9%),成本低 17%。如果以摘要或原始轨迹的形式放入同样的经验,即使找到了正确的经验,也没有出现这样的改进。三项决定中去掉任何一项,解决率都会下降。结合前面 Agent Memory Distillation(paper)把记忆分为"预先放入"和"出错时取出"两类来看,可以发现注入时机正在成为记忆设计的核心变量。

REM 的缺陷修复结果

现有最佳记忆REM

检索匹配(match@1)+13.1%p
最终解决率+2.7%p
在 SWE-ContextBench Lite 上比较现有最佳记忆系统与 REM 的数值。REM 的成本还低 17%。

局限与争议:记得越久,风险越大

最大的争议是隐私。Disclosure Begets Disclosure(paper)模拟了一个拥有 24 项个人属性的虚拟用户与支持智能体之间的多会话对话。在全部四种支持模型上,使用记忆都提升了回复质量,但能从累积记录中正确推断出属性的比例(泄露)也随之上升,而且这一差距随会话推进而扩大。原因不在于攻击,而在于普通帮助过程中形成的循环:智能体把记住的值当作前提说出来,用户予以肯定或懒得纠正,结果智能体的猜测就成了被记录的值。用户单靠自己很难打破这个循环:纠正这个值本身就是一种暴露;回避回答会让之后的预测偏向敏感值;放任错误的值不管,它又会固定下来。研究认为在回复环节切断最为有效。指示智能体不要说出或预设属性后,泄露降到了与不使用记忆时相近的水平。

还有安全问题。SAFE-Mem(paper)警告,来自外部来源的不可信主张日后可能被当作经过授权的偏好、策略或权限来对待。这是一种类似间接提示注入的风险。该研究为每条主张打上类型、权限、适用范围三种标签,只有在核对查询所要求的条件与主张的权限之后才取出使用。用四种 LLM 在 MPBench 和 LoCoMo 上实验的结果显示,在能保留正当记忆的防御方法中,它的攻击成功率最低,比其中最强的防御方法至少低 77%,回答准确率也是所评估防御方法中最高的(最多提升 15 分)。

质量方面的局限也依然存在。正如 GAM(paper)所指出,记忆可能被短暂的噪声干扰。像 Memp(paper)和 Agent Memory Distillation(paper)这样借用其他模型经验的方法,取决于作为出发点的模型的质量。Agent Memory Distillation 报告称,效果不仅取决于教师模型的能力,还取决于教师模型与学生模型之间的匹配度。

延伸学习

如果想先把握结构,建议先读 MAGMA(paper)和 GAM(paper)。从中可以清楚看到,为什么只在一个存储库中按相似度查找是不够的,以及用图来分类整理会带来哪些不同。接着读 Agent Zero Memory(paper),可以看到同时运行情景、关系、语义记忆并用来源约束回答的实际系统设计。

如果关注智能体如何记住"做事的方法",可以从 Memp(paper)入手,再读 Agent Memory Distillation(paper)。如果是多智能体环境,Intrinsic Memory Agents(paper)展示了按角色划分的记忆设计。

如果处理的是编程智能体这类长任务,REM(paper)最贴近实际应用。在为服务接入记忆之前,建议同时阅读 Disclosure Begets Disclosure(paper)和 SAFE-Mem(paper),并把回复方式和记忆权限管理纳入设计。

相关术语

智能体记忆 上下文窗口 上下文工程 RAG 知识图谱 混合检索 多智能体 间接提示注入

参考资料

奠基论文

最新研究

由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。