AWS公布用多节点Ray LLM Deep Learning Container将预填充和解码拆分到不同GPU节点进行服务的方法
发布 2026年10月12日
已核实（事实）
AWS公布了使用多节点Ray LLM Deep Learning Container，将一个大语言模型部署到Amazon EKS上两台GPU节点的方法。预填充节点与解码节点分离，前面设置一个与OpenAI兼容的端点。预配置容器包含完整的推理栈，用户无需自行组装，只需完成部署配置。
意义（解读）
预填充/解码分离服务是提升大模型推理效率的主要技术。以托管容器形式提供，降低了自行搭建的负担。
来源
更多关于 AWS
-
OpenAI将于22日在首尔举办“OpenAI DevDay Exchange: Seoul”，设智能体开发与Codex安全议程，AWS和LG CNS分享案例（报道）
据ZDNet Korea报道，OpenAI将于10月22日在首尔江南区面向韩国开发者和技术创业者举办“OpenAI DevDay Exchange:...
-
Tamnoon基于Amazon Bedrock构建云安全自动修复智能体“Tami”：“90天内严重暴露减少90%以上”
据AWS博客，Tamnoon在Amazon Bedrock上构建了智能体式云安全修复编排器“Tami”。Tami能自主调查来自CNAPP和云原生来源的安全检测结果，并安全地进行修复处置。
-
AWS 公布 SageMaker AI 的 MoE 内核优化：在 H200 上吞吐量最高提升 10%，首 token 时间最多缩短 9%
AWS 工程师公布了针对融合（fused）MoE（混合专家）模型的内核优化方法，包括提高 WGMMA 利用率的 Swap-AB、面向 FP8 量化的 Triton 后端路由，以及消除 Triton JIT 重复编译。
-
Orca Security 基于 Amazon Bedrock 构建自然语言安全查询智能体 Discovery AI，查询成本降低 90%
Orca Security 在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI，可将普通英文问题转换为 Sonar 查询。AWS 博客介绍了其多阶段架构。
-
ShipStation Global 用 AgentCore 构建 Slack IT 服务台智能体，称“3 个月内解决 97.5% 的咨询”
ShipStation Global 使用 Amazon Bedrock AgentCore 构建了 Slack 上的 IT 服务台智能体 Deckhand。它依托整理好的知识库回答日常 IT 问题、读取错误信息截图，并创建 Jira 工单。