AWS发布用llama.cpp在SageMaker AI上部署决策模型的指南：通过SemIf返回各选项概率
发布 2026年10月12日
已核实（事实）
AWS发布技术指南，介绍如何使用面向llama.cpp的AWS Deep Learning Container在Amazon SageMaker AI上部署决策模型（decision model）。该配置提供与OpenAI兼容的chat completions。用SemIf扩展运行时后，可返回预先设定的各选项的概率，并可在CPU和GPU上运行。同日，Ollama v0.40.4-rc0也为支持决策模型更新了llama.cpp。
意义（解读）
输出选项概率而非文本的决策模型越来越多地用于路由和分类，主要云平台和本地运行时开始将其作为服务对象予以支持。
来源
- 官方 Deploy decision models with llama.cpp on Amazon SageMaker AI AWS
- 官方 v0.40.4 Ollama
更多关于 AWS
-
OpenAI将于22日在首尔举办“OpenAI DevDay Exchange: Seoul”，设智能体开发与Codex安全议程，AWS和LG CNS分享案例（报道）
据ZDNet Korea报道，OpenAI将于10月22日在首尔江南区面向韩国开发者和技术创业者举办“OpenAI DevDay Exchange:...
-
Tamnoon基于Amazon Bedrock构建云安全自动修复智能体“Tami”：“90天内严重暴露减少90%以上”
据AWS博客，Tamnoon在Amazon Bedrock上构建了智能体式云安全修复编排器“Tami”。Tami能自主调查来自CNAPP和云原生来源的安全检测结果，并安全地进行修复处置。
-
AWS 公布 SageMaker AI 的 MoE 内核优化：在 H200 上吞吐量最高提升 10%，首 token 时间最多缩短 9%
AWS 工程师公布了针对融合（fused）MoE（混合专家）模型的内核优化方法，包括提高 WGMMA 利用率的 Swap-AB、面向 FP8 量化的 Triton 后端路由，以及消除 Triton JIT 重复编译。
-
Orca Security 基于 Amazon Bedrock 构建自然语言安全查询智能体 Discovery AI，查询成本降低 90%
Orca Security 在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI，可将普通英文问题转换为 Sonar 查询。AWS 博客介绍了其多阶段架构。
-
ShipStation Global 用 AgentCore 构建 Slack IT 服务台智能体，称“3 个月内解决 97.5% 的咨询”
ShipStation Global 使用 Amazon Bedrock AgentCore 构建了 Slack 上的 IT 服务台智能体 Deckhand。它依托整理好的知识库回答日常 IT 问题、读取错误信息截图，并创建 Jira 工单。