← 2026년 11월 18일 브리핑

SageMaker AI 실시간 엔드포인트, KV 캐시 인지 라우팅 지원…프롬프트와 가장 길게 일치하는 캐시를 가진 인스턴스로 요청 전달

발표 2026년 11월 17일

확인된 내용 (사실)

Amazon SageMaker AI 실시간 엔드포인트에 KV 캐시 인지 라우팅이 추가됐다. 각 요청을 그 프롬프트와 가장 길게 일치하는 캐시를 보유한 인스턴스로 보내는 방식이다. AWS는 기존 접두사 인지 라우팅과 언제 나눠 쓸지, 단일 모델·추론 컴포넌트 엔드포인트에서 켜고 검증하는 방법을 함께 안내했다.

의미 (해석)

긴 시스템 프롬프트를 반복하는 에이전트 워크로드에서 캐시 적중률을 높여 지연·비용을 줄이는 서빙 기법이 관리형 서비스 기본 옵션이 되고 있다.

출처

AWS 관련 다른 소식