주제 탐구 · 2026-10-22 · 심화
에이전트 메모리: 대화를 넘어 오래 기억하는 법
에이전트 메모리는 LLM 에이전트가 컨텍스트 윈도 밖에 경험과 사실을 쌓아 두었다가 필요할 때 꺼내 쓰게 하는 장치다. 최근 연구는 무엇을 저장할지에서 나아가 어떻게 나눠 정리하고, 언제 꺼내고, 언제 잊을지와 그에 따른 프라이버시·보안 위험까지 다룬다.
목차
보기·듣기
- LLM은 컨텍스트 윈도 안의 내용만 보기 때문에 세션이 끝나면 앞의 내용을 잊는다. 에이전트 메모리는 이 내용을 바깥에 저장해 두고 필요할 때 다시 넣어 준다.
- 메모리를 한 저장소에서 의미 유사도로만 찾으면 시간·인과·개체 정보가 뒤엉킨다. 그래서 일화·의미·절차 기억이나 여러 관계 그래프로 나눠 정리하는 설계가 늘고 있다.
- 성공한 Trajectory를 절차 기억으로 정리해 두면 다른 모델, 특히 작은 모델에 옮겨 써도 성능이 오른다.
- REM(2610.27377)은 경험 재사용의 병목이 검색이 아니라 저장·회상·망각 시점을 정하는 관리에 있다는 결과를 보였다.
- 오래 기억할수록 개인정보 노출과 신뢰할 수 없는 정보의 오염 위험도 커진다. 출처와 권한을 기록하고 응답 방식을 통제하는 장치가 필요하다.
왜 필요했나: 대화가 끝나면 사라지는 기억
LLM은 호출할 때마다 컨텍스트 윈도(모델이 한 번에 읽을 수 있는 글의 양)에 들어온 내용만 본다. 대화가 길어져 윈도를 넘거나 새 세션이 시작되면 앞의 내용은 모델에게 없던 일이 된다. 그래서 어제 알려 준 선호를 오늘 다시 설명해야 하고, 지난번에 해결한 문제도 처음부터 다시 헤맨다.
이 한계는 여러 에이전트가 함께 일할 때 더 두드러진다. Intrinsic Memory Agents논문는 멀티 에이전트 시스템이 컨텍스트 윈도 한계 때문에 기억의 일관성, 각자 맡은 역할 유지, 절차를 끝까지 지키는 능력에서 근본적인 어려움을 겪는다고 지적한다.
흔한 해법은 지난 대화를 조각내 임베딩(글을 숫자 벡터로 바꾼 것)한 뒤, 비슷한 조각을 찾아 다시 넣어 주는 방식이다. MAGMA논문는 이렇게 하나의 큰 저장소에서 의미 유사도로만 찾으면 시간·인과·개체 정보가 뒤엉키고, 질문의 의도와 찾아온 근거가 어긋난다고 본다. GAM논문은 다른 쪽의 긴장도 짚는다. 대화를 흐름째 쌓는 메모리는 갱신은 쉽지만 일시적인 잡음에 흔들린다. 구조화된 메모리는 지식을 안정적으로 지키지만 바뀌어 가는 이야기를 잘 따라가지 못한다.
핵심 아이디어: 일기장·백과사전·레시피 노트
사람이 일하는 방식을 떠올려 보면 쉽다. 언제 무슨 일이 있었는지는 일기장에, 오래 변하지 않는 사실은 정리된 백과사전에, 일을 처리하는 방법은 레시피 노트에 따로 적어 둔다. 에이전트 메모리 연구의 큰 흐름도 이렇게 기억을 성격별로 나눠 정리하고, 질문에 맞는 쪽에서 꺼내는 것이다.
Agent Zero Memory논문는 한 가지 구조에만 기대면 그 구조의 맹점까지 물려받는다고 보고, 같은 이력을 세 갈래로 동시에 정리한다. 언제 무엇이 바뀌었는지를 담는 일화 타임라인, 사람과 프로젝트를 세션을 넘어 잇는 개체-사건 지식 그래프, 오래 가는 사실을 출처와 함께 다듬어 둔 의미 메모리다.
레시피 노트에 해당하는 것이 절차 기억이다. Memp논문는 에이전트의 절차 기억이 사람이 손으로 짜 넣거나 파라미터 속에 굳어 있어 깨지기 쉽다고 보고, 과거 Trajectory(에이전트가 실제로 밟아 간 행동 기록)를 단계별 지시와 더 높은 수준의 스크립트로 Distill해 저장한다. 결국 핵심은 많이 저장하는 데 있지 않다. 무엇으로 나눠 정리하고 언제 꺼낼지가 관건이다.
세 가지 기억
일화 기억언제 무엇이
- 사건을 시간 순으로 기록
- 무엇이 바뀌었는지 추적
의미 기억오래 가는 사실
- 사람·프로젝트를 잇는 그래프
- 출처를 붙여 다듬은 사실
절차 기억일하는 법
- Trajectory를 단계별 지시로
- 상위 스크립트로 요약
공통 모두 컨텍스트 윈도 밖에 두었다가 필요할 때 꺼낸다
어떻게 작동하나: 기록 → 정리 → 회상 → 갱신
첫 단계는 기록이다. GAM논문은 기록과 정리를 분명히 떼어 놓는다. 진행 중인 대화는 사건 진행 그래프에 따로 쌓아 두고, 대화 주제가 바뀌는 시점에만 장기 주제 연결망으로 합친다. 순간순간의 잡음이 오래 갈 지식을 흔들지 않게 하면서 장기 일관성을 지키려는 설계다. Agent Zero Memory논문는 기록하는 모든 항목에 출처·시각·근거 위치를 붙인다.
다음은 회상이다. Agent Zero Memory는 먼저 의도 확인 단계를 거친다. 질문만으로 답할 수 있으면 메모리를 뒤지지 않아 지연이 생기지 않는다. 메모리가 필요하면 출처 라우터가 어디를 찾을지 정하고, 세 메모리 각각에서 하이브리드 검색(임베딩 검색과 키워드 검색을 함께 쓰는 방식)을 도구로 쓰는 검색 루프가 동시에 돈다. MAGMA논문는 회상을 여러 관계 그래프 위를 정책에 따라 따라가는 탐색으로 다룬다. 질문에 맞춰 경로를 고르기 때문에 왜 그 근거를 가져왔는지 추적하기 쉽다.
마지막은 사용과 갱신이다. Agent Zero Memory는 실제로 열어 본 근거만 인용하게 하는 '인용 잠금'을 둔다. 그래서 지어낸 내용이 구조적으로 들어갈 수 없고, 근거가 없으면 추측하는 대신 답을 보류한다. Memp논문는 새 경험이 들어올 때마다 메모리 내용을 계속 갱신하고, 틀린 것은 고치고, 낡은 것은 폐기하는 절차를 두어 저장소가 경험과 함께 진화하게 한다.
발전 흐름: 무엇을 기억하느냐에서 어떻게 정리하느냐로
2025년 연구들은 어떤 종류의 기억이 필요한지를 정의하는 데 집중했다. Memp논문는 TravelPlanner와 ALFWorld에서 절차 기억 저장소를 다듬을수록 비슷한 작업의 성공률과 효율이 꾸준히 오른다는 것을 보였다. 더 강한 모델로 만든 절차 기억을 약한 모델로 옮겨도 성능이 크게 오른다는 점도 확인했다. Intrinsic Memory Agents논문는 에이전트마다 역할에 맞춘 메모리를 두고, 문제마다 프롬프트를 새로 짤 필요가 없는 범용 메모리 템플릿을 제시했다. PDDL·FEVER·ALFWorld에서 최고 수준이거나 그에 버금가는 성능을 냈고, 일관성은 가장 높았다.
2026년에는 메모리의 구조가 정교해졌다. MAGMA논문는 각 기억을 의미·시간·인과·개체라는 서로 독립된 네 그래프에 함께 표현하고, LoCoMo와 LongMemEval에서 기존 에이전트 메모리 시스템보다 나은 결과를 냈다. GAM논문은 기록과 정리를 분리하는 계층형 그래프와 여러 요인을 함께 보는 검색으로 LoCoMo와 LongDialQA에서 정확도와 효율을 함께 높였다. Agent Zero Memory논문는 여기에 출처 추적과 인용 잠금을 더해 '믿을 수 있는 기억'을 전면에 내세웠다.
메모리를 모델 사이에 옮기는 연구도 나왔다. Agent Memory Distillation논문은 추가 학습 없이 큰 Teacher 에이전트(GPT-5-mini)의 성공 Trajectory로 세 가지 메모리를 만든다. 작업 전략을 담은 Workflow 메모리, 중간 단위의 행동 예시인 Subtask 메모리, 함수별 호출 규칙과 흔한 실수를 담은 Function 메모리다. Workflow·Subtask 메모리는 작업 시작 때 미리 넣고, Function 메모리는 도구 호출 오류가 났을 때만 꺼낸다. 4B~8B 크기의 Student 모델에서 AppWorld 27.2%p, BFCL V3 11.2%p, ToolSandbox 3.4%p의 평균 정확도 향상을 보였다. 가장 큰 기여는 Subtask 메모리에서 나왔고, 4B 모델이 가장 큰 이득을 봤다.
요즘 어디로 가고 있나: 검색에서 수명 주기 관리로
최근 연구의 초점은 '가장 비슷한 과거를 잘 찾는 것'에서 '기억을 언제 넣고 언제 빼는가'로 옮겨 가고 있다. REM논문은 기존 메모리 시스템이 검색에만 집중했다고 지적한다. 검색은 실행 중인 에이전트의 상태를 보지 못하므로, 에이전트에게 지금 경험이 필요한지, 어느 시점에 얼마나 오래 필요한지 판단할 수 없다는 것이다.
REM은 에이전트의 생각-행동 루프 안에서 세 가지를 명시적으로 결정한다. 무엇을 저장할지: 끝난 Trajectory를 단계별 구조의 문서로 압축하며, 이 문서는 원래 Trajectory보다 두 자릿수 배 작다. 언제 꺼낼지: 이 문서는 작업 시작 때 넣고, 비용이 더 큰 구현 기록은 루프 안의 관문이 에이전트가 헤매는 것을 감지할 때만 넣는다. 무엇을 잊을지: 그 구현 기록은 한 번 보여 준 뒤 지운다.
저장소 단위 버그 수정 벤치마크(SWE-ContextBench Lite)에서 REM은 관련 Trajectory를 찾는 정확도가 기존 최고 메모리 시스템보다 높았고(match@1 68.7% 대 55.6%), 최종 해결률도 모든 반복 실험에서 올랐다(27.6% 대 24.9%). 비용은 17% 낮았다. 같은 경험을 요약이나 원본 Trajectory로 넣으면, 정답 경험을 찾아 준 경우에도 이런 개선이 나타나지 않았다. 세 결정 중 하나라도 빼면 해결률이 떨어졌다. 앞의 Agent Memory Distillation논문이 메모리를 '미리 넣을 것'과 '오류가 났을 때 꺼낼 것'으로 나눈 것과 함께 보면, 주입 시점이 메모리 설계의 핵심 변수가 되어 가고 있음을 알 수 있다.
REM의 버그 수정 결과
기존 최고 메모리REM
한계와 쟁점: 오래 기억할수록 커지는 위험
가장 큰 쟁점은 프라이버시다. Disclosure Begets Disclosure논문는 개인 속성 24개를 가진 가상 사용자와 지원 에이전트의 여러 세션 대화를 시뮬레이션했다. 네 가지 지원 모델 모두에서 메모리를 쓰면 응답 품질이 올랐지만, 쌓인 기록에서 속성을 맞게 추론해 낼 수 있는 비율(누출)도 함께 올랐다. 그 격차는 세션이 지날수록 벌어졌다. 원인은 공격이 아니라 평범한 도움 과정에 있는 고리다. 에이전트가 기억한 값을 전제처럼 말에 담으면 사용자가 이를 긍정하거나 굳이 고치지 않고, 그 결과 에이전트의 추측이 기록된 값이 된다. 사용자 혼자서는 이 고리를 끊기 어렵다. 값을 고치면 그 자체가 노출이고, 대답을 피하면 이후 예측이 민감한 값 쪽으로 기울며, 틀린 값을 그냥 두면 굳어진다. 연구는 응답 단에서 끊는 것이 가장 효과적이라고 본다. 속성을 말하거나 전제하지 말라고 지시하자 누출이 메모리를 쓰지 않을 때와 비슷한 수준으로 내려갔다.
보안 문제도 있다. SAFE-Mem논문은 외부 출처에서 들어온 믿을 수 없는 주장이 나중에 허가된 선호·정책·권한처럼 취급될 수 있다고 경고한다. 간접 프롬프트 인젝션과 닮은 위험이다. 이 연구는 주장마다 종류·권한·적용 범위라는 세 가지 라벨을 붙이고, 질의가 요구하는 조건과 주장의 권한을 맞춰 본 뒤에만 꺼내 쓰게 했다. 네 가지 LLM으로 MPBench와 LoCoMo에서 실험한 결과, 정당한 메모리를 유지하는 방어법 가운데 공격 성공률이 가장 낮았다. 그중 가장 강한 방어법보다 최소 77% 낮았고, 답변 정확도는 평가한 방어법 중 가장 높았다(최대 15점 향상).
품질 면의 한계도 남아 있다. GAM논문이 짚었듯 메모리는 일시적 잡음에 흔들릴 수 있다. Memp논문와 Agent Memory Distillation논문처럼 다른 모델의 경험을 빌려 오는 방식은 출발점이 되는 모델의 품질에 좌우된다. Agent Memory Distillation은 효과가 Teacher의 능력뿐 아니라 Teacher와 Student의 궁합에도 달려 있다고 보고했다.
더 공부하려면
구조부터 잡으려면 MAGMA논문와 GAM논문을 먼저 읽는 것이 좋다. 하나의 저장소에서 유사도로만 찾는 방식이 왜 부족한지, 그래프로 나눠 정리하면 무엇이 달라지는지 잘 보인다. 이어서 Agent Zero Memory논문를 읽으면 일화·관계·의미 기억을 동시에 운영하고 출처로 답을 묶는 실제 시스템 설계를 볼 수 있다.
에이전트가 '일하는 법'을 기억하는 쪽에 관심이 있다면 Memp논문로 시작해 Agent Memory Distillation논문으로 넘어가면 된다. 멀티 에이전트 환경이라면 Intrinsic Memory Agents논문가 역할별 메모리 설계를 보여 준다.
코딩 에이전트처럼 긴 작업을 다룬다면 REM논문이 실무에 가장 가깝다. 서비스에 메모리를 붙이기 전에는 Disclosure Begets Disclosure논문와 SAFE-Mem논문을 함께 읽고, 응답 방식과 메모리 권한 관리를 설계에 넣어 두기를 권한다.
관련 용어
에이전트 메모리 컨텍스트 윈도 컨텍스트 엔지니어링 RAG 지식 그래프 하이브리드 검색 멀티 에이전트 간접 프롬프트 인젝션
참고 문헌
핵심 논문
- MAGMA: A Multi-Graph based Agentic Memory Architecture for AI Agents (2026)
- GAM: Hierarchical Graph-based Agentic Memory for LLM Agents (2026)
- Agent Zero Memory: Provenance-Aware Long-Term Memory for LLM Agents (2026)
- Memp: Exploring Agent Procedural Memory (2025)
- Intrinsic Memory Agents: Heterogeneous Multi-Agent LLM Systems through Structured Contextual Memory (2025)
- Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory (2026)
최근 연구
AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.