← 2026年10月14日 简报

AWS 公布 SageMaker AI 的 MoE 内核优化:在 H200 上吞吐量最高提升 10%,首 token 时间最多缩短 9%

发布 2026年10月13日

已核实(事实)

AWS 工程师公布了针对融合(fused)MoE(混合专家)模型的内核优化方法,包括提高 WGMMA 利用率的 Swap-AB、面向 FP8 量化的 Triton 后端路由,以及消除 Triton JIT 重复编译。

待核实(说法)

称在 H200 GPU 上吞吐量最高提升 10%,TTFT(首 token 生成时间)最多缩短 9%。摘录中没有对比基线的具体条件。

意义(解读)

这是从内核层面降低 MoE 模型服务成本的具体方法,可供推理基础设施工程师参考。

来源

更多关于 AWS