← 2026年11月21日 简报

Amazon SageMaker HyperPod 推出 Global Inference Gateway:单一端点将推理请求分发到多个集群和区域,并自动故障转移

发布 2026年11月20日

已核实(事实)

AWS 为 SageMaker HyperPod 引入托管单一端点 Global Inference Gateway。它将推理请求发送到同一区域内或跨区域的 HyperPod 集群,选择最合适的集群,并在故障时自动切换到其他集群。所有请求都通过 AWS PrivateLink,使用 SigV4 和 IAM 进行认证。

意义(解读)

在自有集群上部署模型的团队无需自行实现跨区域路由和故障转移,减轻了 GPU 容量获取和可用性管理的负担。

来源

更多关于 AWS