AWS, SageMaker AI의 MoE 커널 최적화 공개…H200에서 처리량 최대 10%·첫 토큰 시간 최대 9% 개선
발표 2026년 10월 13일
확인된 내용 (사실)
AWS 엔지니어들이 fused MoE(Mixture-of-Experts) 모델의 커널 최적화 기법을 공개했다. WGMMA 활용률을 높이는 Swap-AB, FP8 양자화용 Triton 백엔드 라우팅, Triton JIT 재컴파일 제거가 포함된다.
팩트체크 필요 (주장)
H200 GPU에서 처리량은 최대 10% 높아지고 TTFT(첫 토큰까지 걸리는 시간)는 최대 9% 빨라졌다고 밝혔다. 비교 기준선의 세부 조건은 발췌문에 없다.
의미 (해석)
MoE 모델 서빙 비용을 커널 수준에서 줄이는 구체적인 방법이라 추론 인프라 엔지니어에게 참고가 된다.
출처
AWS 관련 다른 소식
-
Orca Security, Amazon Bedrock으로 자연어 보안 질의 에이전트 'Discovery AI' 구축…쿼리 비용 90% 절감
Orca Security가 일반 영어 질문을 Sonar 쿼리로 바꾸는 자연어 질의 에이전트 Discovery AI를 Amazon Bedrock 위에 구축했다. AWS 블로그에 다단계 아키텍처가 소개됐다.
-
ShipStation Global, AgentCore로 Slack용 IT 헬프데스크 에이전트 구축…"3개월간 문의 97.5% 해결"
ShipStation Global이 Amazon Bedrock AgentCore로 Slack용 IT 헬프데스크 에이전트 'Deckhand'를 만들었다. 정리된 지식 베이스로 일상적인 IT 질문에 답하고, 오류 메시지 스크린샷을 읽고, Jira 티켓을 생성한다.
-
AWS, Amazon Bedrock에서 xAI 'Grok 4.7' 제공…추론 강도 4단계별 정확도·비용 비교한 장기 에이전트 구축 가이드
AWS가 xAI의 Grok 4.7을 Amazon Bedrock에서 쓸 수 있다고 밝혔다. 함께 낸 글에서는 Grok 4.7로 도구 호출 에이전트를 만들고, 추론 과제 3개를 추론 강도(reasoning effort) 4단계에서 평가했다. 평가...
-
AWS, 멀티 노드 Ray LLM Deep Learning Container로 프리필·디코드를 GPU 노드별로 나눠 서빙하는 방법 공개
AWS가 멀티 노드 Ray LLM Deep Learning Container로 대규모 언어 모델 하나를 Amazon EKS의 GPU 노드 두 대에 걸쳐 배포하는 방법을 공개했다. 프리필 노드와 디코드 노드를 분리하고, 그 앞에 OpenAI 호환...
-
AWS, llama.cpp로 SageMaker AI에 결정 모델을 배포하는 가이드 공개…SemIf로 선택지별 확률 반환
AWS가 llama.cpp용 AWS Deep Learning Container로 Amazon SageMaker AI에 결정 모델(decision model)을 배포하는 기술 가이드를 공개했다. 이 구성은 OpenAI 호환 chat...