← 2026年11月21日 简报 · 于韩国时间 12:00 更新时加入

AWS发布用于自托管LLM分布式KV缓存配置的“智能体技能”(称成本最多降40%、首token延迟最多降80%),HyperPod Slurm新增托管可观测性与用户管理扩展

发布 2026年11月21日

已核实(事实)

AWS在Agent Toolkit for AWS中加入了分布式KV缓存技能。编程智能体可借助该技能判断是否使用基于Amazon ElastiCache的分布式KV缓存,并自行完成配置。目的是减少自托管LLM在每一轮对话中重复计算相同上下文造成的浪费。AWS称,这种方式可将推理成本最多降低40%,将首token生成时间最多缩短80%。同日,Amazon SageMaker HyperPod Slurm集群新增了用于可观测性(Observability)和用户管理的托管集群扩展,可通过API或控制台以声明式方式配置节点上运行的软件。

待核实(说法)

AWS:分布式KV缓存可将推理成本最多降低40%,首token时间(TTFT)最多缩短80%(工作负载条件以博客为准)

意义(解读)

对于自行部署模型的企业,推理成本和响应延迟是最大的负担。将降低这类成本的配置也交给编程智能体完成的趋势,正在扩展到云基础设施运维领域。

来源

更多关于 AWS