에이전트를 위한 캐시 엔지니어링

문제

에이전트 Trajectory가 길어지면 KV 캐시 저장·읽기 비용이 커진다. 컨텍스트 길이 한계도 넘을 수 있다. 기존 컨텍스트 엔지니어링(이력 자르기·요약)은 앞부분을 수정하므로 뒤쪽 캐시가 무효화되고 다시 Prefill해야 한다. Prefill 비용을 줄이려고 많이 잘라내면 정확도가 떨어지는 딜레마가 있다.

방법

텍스트 Trajectory는 그대로 두고 활성 KV 캐시만 조작하는 '캐시 엔지니어링'을 제안했다. 기존 append에 더해 drop(선택한 캐시를 이후 어텐션에서 제외)과 repos(RoPE 회전으로 남은 키의 위치 인덱스를 다시 매김) 연산을 정의했다. 같은 토큰 시퀀스라도 연산 순서가 다르면 캐시 상태가 달라지는 '이력 의존성' 문제가 생긴다. 이를 해결하려고 서빙 엔진 AKV를 설계했다. AKV는 겉으로는 기존 API와 호환되는 무상태 인터페이스를 제공하고, 내부에서는 drop 노드를 넣은 확장 radix tree, drop을 고려한 축출, 한 번의 Prefill로 캐시를 복원하는 segment-batch attention을 쓴다. 대표 정책은 오래된 도구 응답 캐시를 순차적으로 버리는 tool-response rolling drop이다.

결과

• 3개 LLM, 4개 에이전트 벤치마크에서 tool-response rolling drop 정책은 임계값 기반 요약 대비 평균 비용을 27.7% 줄이고 평균 점수를 1.7점 높였다.
• AKV 서버에서 출력 처리량이 1.18배, P95 요청 지연이 1.51배 개선됐다.
• 재귀적 자기개선(RSI)으로 찾은 정책은 전문가가 설계한 정책보다 held-out 과제에서 비용을 추가로 7.1% 줄였다.
• 동기 실험(GPT-OSS-120B, BCP 100개 과제)에서 자르기 기반 컨텍스트 엔지니어링은 전체 컨텍스트 대비 비용이 1.85배였다. 48k 임계 요약은 비용을 약 7% 줄였지만 정확도가 5%p 떨어졌다.

한계

drop은 원래 학습 때 없던 캐시 상태를 만들기 때문에 효과가 모델·정책에 따라 다를 수 있다. 검증 범위는 3개 LLM과 4개 벤치마크다. 서빙 이득은 AKV 엔진이 필요하므로, 캐시를 직접 제어할 수 없는 상용 API에는 바로 적용하기 어렵다. RoPE 기반 재배치를 전제로 한다.

의미

장기 에이전트 운영 비용의 대부분이 KV 캐시 읽기에서 나온다는 점을 짚었다. 컨텍스트를 텍스트로 편집하는 대신 캐시 수준에서 관리하는 새 설계 선택지를 열었고, 에이전트 서빙 인프라 비용 절감에 직접 관련된다.

핵심 용어

KV 캐시

이미 처리한 토큰의 Key·Value 값을 저장해 두고 다음 토큰을 생성할 때 재사용하는 메모리다. 컨텍스트가 길수록 저장·읽기 비용이 커진다.

Prefill

입력 프롬프트 전체를 한 번에 처리해 KV 캐시를 만드는 단계다. 앞부분이 바뀌면 그 뒤를 다시 Prefill해야 한다.

컨텍스트 엔지니어링

에이전트 대화 이력을 자르거나 요약해 모델 입력 길이와 비용을 관리하는 기법이다.

RoPE

Key·Query 벡터를 위치에 따라 회전시켜 위치 정보를 넣는 방식이다. 회전을 다시 적용하면 캐시된 키의 위치를 바꿀 수 있다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu, Shengxu Mu, Hanling Zhang, 외 · 게시 2026-10-20 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.