← 2026년 10월 19일 브리핑 · 04:00 업데이트로 추가
AWS, vLLM 분리형 추론의 KV 캐시 전송 개선 2건 공개…첫 토큰 시간 최대 3배·멀티턴 에이전트에서 최대 3.3배 단축
발표 2026년 10월 19일
확인된 내용 (사실)
AWS가 vLLM의 프리필·디코드 분리 추론을 개선하는 글 2편을 냈다. 첫째는 푸시 방식 NIXL 커넥터다. KV 캐시 전송을 조율하는 일을 핵심 경로 밖으로 옮겨, EFA를 쓰는 Amazon EC2 P5en 벤치마크에서 TTFT(첫 토큰까지 걸리는 시간)를 최대 3배, TPOT(토큰당 출력 시간)를 30% 개선했다. 둘째는 양방향 KV 전송이다. 멀티턴 에이전트 작업에서 이전 턴에 계산한 컨텍스트를 프리필 노드와 디코드 노드가 서로 재사용하게 한다. 같은 환경에서 TTFT를 Qwen3-32B는 최대 1.6배, GLM-5-FP8은 최대 3.3배 줄였다.
팩트체크 필요 (주장)
성능 수치는 모두 AWS의 P5en·EFA 환경 벤치마크 기준이다.
의미 (해석)
에이전트 작업은 턴마다 쌓인 대화 맥락을 다시 처리하느라 지연이 커진다. vLLM으로 분리형 서빙을 운영하는 팀이라면 KV 전송 방식만 바꿔도 응답 지연을 줄일 수 있다는 참고 사례다.
출처
AWS 관련 다른 소식
-
AWS SageMaker AI 'training sessions' 정식 출시…GPU 관리 없이 사후학습 루프를 직접 작성
AWS가 SageMaker AI 서버리스 모델 커스터마이징에 'training sessions' 기능을 추가하고 정식 출시했다. 사용자는 Python 스크립트로 SFT, 강화학습, 사용자 정의 손실 함수·보상 신호, 멀티턴 강화학습 같은...
-
AWS, 간단한 일은 로컬 SLM·복잡한 요청은 Bedrock으로 보내는 에이전트 프레임워크 'AAIF' 구축법 공개
AWS가 Strands Agents로 만든 Adaptive Agentic Intelligence Framework(AAIF)를 소개했다. 일상 작업은 Ollama로 띄운 로컬 소형 언어 모델이 처리하고, 복잡한 요청은 Amazon...
-
AWS, torchtitan으로 Trainium에서 Qwen3를 학습하는 세 가지 경로 공개
AWS가 trn2.48xlarge 한 대에서 Qwen3를 torchtitan으로 학습하는 방법을 세 갈래로 정리했다. Hugging Face Transformers v5 모델링 백엔드, torchtitan 자체 Qwen3 구현, NKI MoE...
-
Walmart, 다음 달부터 AI 에이전트의 대리 쇼핑 허용…구매 승인·지출 한도 설정 제공, 차단에 나선 Amazon과 반대 노선(보도)
The Verge와 TechCrunch 보도에 따르면 Walmart는 다음 달부터 고객이 AI 에이전트를 써서 자사 웹사이트에서 물건을 사도록 허용한다. 고객은 에이전트가 고른 구매를 검토·승인하고 지출 한도를 정할 수 있다. 두 매체는 AI...
-
AWS, 실행 시점에 도구를 찾아 쓰는 'AWS Agent Registry' 활용법 공개…MCP 서버·A2A 에이전트를 의미 기반 검색으로
AWS가 에이전트의 도구 목록이 수백 개로 늘어날 때 하드코딩된 연결이 무너진다는 문제의식에서, AWS Agent Registry를 쓰는 'Discover, Instantiate, Execute' 런타임 루프를 공개했다. 오케스트레이터가 빌드...