← 2026년 11월 21일 브리핑

Amazon SageMaker HyperPod 'Global Inference Gateway'…엔드포인트 하나로 여러 클러스터·리전에 추론 요청 분산, 자동 장애 조치

발표 2026년 11월 20일

확인된 내용 (사실)

AWS가 SageMaker HyperPod에 관리형 단일 엔드포인트 Global Inference Gateway를 도입했다. 한 리전 안 또는 여러 리전에 걸친 HyperPod 클러스터로 추론 요청을 보내며, 가장 적합한 클러스터를 고르고 장애 시 자동으로 다른 클러스터로 넘긴다. 모든 요청은 AWS PrivateLink 위에서 SigV4와 IAM으로 인증한다.

의미 (해석)

자체 클러스터에서 모델을 서빙하는 팀이 리전 간 라우팅·장애 조치를 직접 구현하지 않아도 돼 GPU 용량 확보와 가용성 관리 부담이 줄어든다.

출처

AWS 관련 다른 소식