논문 리뷰 · 2026년 10월 21일

MemT-1.0: 메모리를 모델 안에 내장하는 Memory-Native 진화

MemT-1.0: Towards Memory-Native Evolution

언어 모델 효율·인프라 에이전트 고급 추천 109 cs.CL MemTensor

Gated DeltaNet-2 기반 토큰 단위 메모리 갱신과 Mixture-of-Storage를 넣은 파운데이션 모델을 학습해, 128K 기록에서 전체 문맥 KV 캐시 대비 추론 1.86배 가속과 저장 용량 66배 절감을 얻었다.

문제

지금 LLM은 과거 대화나 경험을 기억하려면 전체 문맥을 다시 넣거나 외부 검색 시스템을 붙여야 한다. 문맥이 길어질수록 KV 캐시가 커지고 추론이 느려진다. 저자들은 추론이나 멀티모달이 그랬듯 메모리도 외부 시스템이 아니라 모델 계산의 일부로 내재화돼야 한다고 본다. 이전 연구 Metis가 첫 시도였지만, 토큰 선택 방식의 메모리 갱신과 제한된 메모리 용량이 과제로 남았다.

방법

선택된 Transformer 블록마다 원래 어텐션과 병렬로 도는 메모리 어텐션 블록을 붙인다. 메모리는 턴마다 갱신되는 dynamic local memory와 학습으로 얻는 hyper memory로 나뉜다. Metis의 토큰 선택을 GDN-2(Gated DeltaNet-2) 기반 토큰 단위 갱신으로 바꾸고, 메모리 상태가 발산하지 않도록 erase gate에 제곱근을 씌우는 안정화 항을 넣었다. 용량을 키우기 위해 Mixture-of-Storage(MoS)를 도입했는데, 일반 희소 MoE와 달리 모든 메모리 전문가가 참여하는 dense 라우팅을 쓰고, 저장용과 활용용 라우터가 같은 주소 행렬을 공유하되 서로 다른 투영을 학습한다. 백본 준비 단계 후 34B 토큰으로 계속 사전학습(CPT)과 포스트 트레이닝의 2단계를 거친다. Nano는 36B(활성 3B, 동적 메모리 10M), Flash는 288B(활성 17B, 동적 메모리 336M) 규모로 공개했다.

결과

11개 메모리 벤치마크에서 파라메트릭 메모리 기준선들을 평균적으로 앞섰고, 검색 증강 방식과도 경쟁력 있는 수준이라고 저자들은 보고했다. 추론 시 원본 문맥에 접근하지 않고도 과거 정보를 활용했다.
기록 길이 128K 토큰에서 MemT-1.0-Nano가 전체 문맥 KV 캐시 대비 end-to-end 추론 약 1.86배 빨랐고 영구 저장 용량은 66배 줄었다.
노이즈 설정에서 일반 능력이 대체로 보존됐다고 저자들은 보고했다.
검색된 절차적 경험을 네이티브 메모리에 내재화하는 방식으로 SWE-bench Verified와 SWE-bench Multilingual에서 경험 없는 에이전트보다 평균 성공률과 반복 실행 일관성이 개선됐고, 명시적 텍스트 경험과 비슷한 수준이었다.
백본 준비 실험에서, 8회 시도 중 한 번도 못 푼 과제는 포스트 트레이닝 후에도 4개 벤치마크에서 1.6~4.0%에 그친 반면, 별도 난이도 높은 지식 질문 세트에 관련 사실을 문맥으로 넣어주면 정확도가 27%에서 91%로 올라갔다.

한계

저자들이 밝힌 대로 메모리 용량 자체가 새로운 스케일링 축이라 아직 탐색 초기 단계다. 비교 대상인 검색 증강 방식을 뛰어넘은 것이 아니라 '경쟁력 있는' 수준이고, 일반 능력도 '대체로' 보존된다는 표현이라 일부 손실이 있다. 학습 데이터 34B 토큰은 일반 파운데이션 모델 학습 규모에 비해 작고, 상태를 유지하는 추론이라 궤적별 메모리 격리를 위한 전용 인프라가 필요하다. 제공된 본문은 백본 준비 절 중간에서 잘려 벤치마크별 상세 수치는 확인하지 못했다.

의미

긴 문맥을 매번 다시 넣는 대신 고정 크기 메모리 상태로 유지하면, 상호작용이 쌓여도 저장 용량이 늘지 않는다. 장기 운용되는 에이전트의 비용 구조를 바꿀 수 있는 접근이다. 코딩 에이전트에서 과거 절차적 경험을 메모리에 넣어 성공률을 올린 결과는, 메모리가 단순 회상을 넘어 다단계 실행 지침 역할까지 할 수 있음을 보여준다. 코드와 모델이 공개돼 검증과 후속 연구가 가능하다.

핵심 용어

Memory-Native: 기억 기능을 외부 데이터베이스나 검색 시스템이 아니라 모델 계산 자체의 일부로 내장하는 설계 방향이다.
Gated DeltaNet-2(GDN-2): 게이트로 기억을 쓰고 지우며 상태를 갱신하는 선형 어텐션 계열 구조다. 문맥 길이에 비례해 커지는 KV 캐시 대신 고정 크기 상태를 유지한다.
Mixture-of-Storage(MoS): 메모리 블록을 여러 전문가로 확장하되 모든 전문가가 참여하는 dense 라우팅을 쓰는 방식이다. 저장용·활용용 라우터가 같은 주소를 공유한다.
KV 캐시: Transformer가 이미 처리한 토큰의 키·값을 저장해 재계산을 피하는 버퍼다. 문맥이 길어질수록 메모리를 많이 차지해 추론 비용의 병목이 된다.

원문

저자: Zhiyu Li, Zeyu Zhang, Linyun Liu, Yiwei Bu, Chenyang Xi, Xichong Zhang, Yi Yu, Yu Yu, 외 · 게시 2026-10-19 · 라이선스 CC BY-NC-SA 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.