i14, 선형 어텐션 모델 'Laplace 3B'를 AWS Trainium2에서 학습·서빙…"KV 캐시 없이 시퀀스당 상태 29.5MB 고정"
발표 2026년 10월 20일
확인된 내용 (사실)
AWS가 i14의 선형 어텐션 모델 Laplace 3B를 네이티브 PyTorch로 AWS Trainium2에서 학습하고 서빙한 사례를 공개했다. 이 모델은 컨텍스트 길이와 무관하게 시퀀스당 순환 상태가 29.5MB로 고정돼, 트랜스포머의 KV 캐시처럼 메모리가 계속 늘어나지 않는다고 설명했다.
팩트체크 필요 (주장)
AWS와 i14는 컨텍스트가 길어져도 서빙 메모리가 예측 가능한 수준에서 유지된다고 밝혔다.
의미 (해석)
긴 컨텍스트 서빙 비용의 상당 부분이 KV 캐시에서 나오는 만큼, 선형 어텐션 계열의 실제 운영 사례는 추론 원가 구조를 다시 보게 만든다.
출처
AWS 관련 다른 소식
-
AWS SageMaker AI 'training sessions' 정식 출시…GPU 관리 없이 사후학습 루프를 직접 작성
AWS가 SageMaker AI 서버리스 모델 커스터마이징에 'training sessions' 기능을 추가하고 정식 출시했다. 사용자는 Python 스크립트로 SFT, 강화학습, 사용자 정의 손실 함수·보상 신호, 멀티턴 강화학습 같은...
-
AWS, 간단한 일은 로컬 SLM·복잡한 요청은 Bedrock으로 보내는 에이전트 프레임워크 'AAIF' 구축법 공개
AWS가 Strands Agents로 만든 Adaptive Agentic Intelligence Framework(AAIF)를 소개했다. 일상 작업은 Ollama로 띄운 로컬 소형 언어 모델이 처리하고, 복잡한 요청은 Amazon...
-
AWS, torchtitan으로 Trainium에서 Qwen3를 학습하는 세 가지 경로 공개
AWS가 trn2.48xlarge 한 대에서 Qwen3를 torchtitan으로 학습하는 방법을 세 갈래로 정리했다. Hugging Face Transformers v5 모델링 백엔드, torchtitan 자체 Qwen3 구현, NKI MoE...
-
Walmart, 다음 달부터 AI 에이전트의 대리 쇼핑 허용…구매 승인·지출 한도 설정 제공, 차단에 나선 Amazon과 반대 노선(보도)
The Verge와 TechCrunch 보도에 따르면 Walmart는 다음 달부터 고객이 AI 에이전트를 써서 자사 웹사이트에서 물건을 사도록 허용한다. 고객은 에이전트가 고른 구매를 검토·승인하고 지출 한도를 정할 수 있다. 두 매체는 AI...
-
AWS, 실행 시점에 도구를 찾아 쓰는 'AWS Agent Registry' 활용법 공개…MCP 서버·A2A 에이전트를 의미 기반 검색으로
AWS가 에이전트의 도구 목록이 수백 개로 늘어날 때 하드코딩된 연결이 무너진다는 문제의식에서, AWS Agent Registry를 쓰는 'Discover, Instantiate, Execute' 런타임 루프를 공개했다. 오케스트레이터가 빌드...