分析 · 2026-11-17 · 作者 bombong
小型决策模型能否取代通用 LLM 调用
同一周内,Google、LangChain、Hugging Face 相继推出或开始支持“回答选项”的决策模型,Amazon 的替换案例也有消息传出。本文结合依据梳理:这类模型与通用 LLM 有何不同、成本从哪里降低、可以替换到什么程度。

- Google 于 11 月 11 日发布了 Gemini Decisions API,它不生成答案,而是为每个选项返回概率和置信度。
- LangChain 同日在核心包中加入了决策模型抽象和模型路由器(测试版)。
- 据称 Amazon 在 20 个类别的工单分类中将成本降低了 98%,但没有独立验证。
- 成本降低来自不生成输出 token,以及在一个输入中打包多个问题,因此节省幅度取决于任务的形态。
- 与其说是整体取代通用 LLM,不如理解为一种分工:判断模型在前端进行筛选,通用 LLM 留在需要生成的地方。
同一周发布了什么?
11 月第二周,“回答选项”的模型在多个层面同时出现。决策模型(Decision model)不写长篇回答,只为给定的每个选项返回概率和置信度(GeekNews,s6)。
Google 于 11 月 11 日发布了由新模型 Gemini Decision 1 驱动的 Gemini Decisions API(Google 博客,s1)。同日,LangChain 在 langchain-core 1.8.0 中加入了决策模型抽象(s2),在 langchain 1.5.0 中增加了模型路由器和自动模式中间件(s3)。langchain-typesafe 0.1.0 将 TypeSafeClassifier 实现为决策模型(s4)。Hugging Face 也发布了一篇介绍 Hub 上决策模型的博客文章(s5)。在此之前,11 月 10 日 GeekNews 上有文章称,Amazon 已将内部工单分类模型换成 Strands Decider E4B(s6)。据本站统计,“Strands Decider”本周在 1 条官方发布和 1 条社区内容中被提及。
也就是说,模型 API、框架、模型 Hub 和运营案例在一周内相互衔接。与其说是推出了一款新产品,不如理解为在构成智能体的组件中,“判断”被拆分出来、成为标准组件的过程。
对从业者来说,现在是重新审视“分类就用提示词交给通用 LLM”这一默认做法的时候了。
决策模型集中出现的一周
- 11月10日Amazon 替换案例工单分类改用 Strands Decider E4B
- 11月11日Gemini Decisions API基于 Gemini Decision 1
- 11月11日LangChain 新版本决策模型·模型路由器
生成模型与判断模型有何不同?
用通用 LLM 做分类时,模型逐个 token 生成答案,代码再解析文本、提取标签。Gemini Decision 1 的工作方式不同。据 Google 介绍,它不生成答案,而是通过一次 forward pass 为候选选项打分,返回概率和置信度(s1)。
Google 公布的问题形式有三种(s1):是/否条件的概率、从 2~255 个选项中选择、从 0 开始的有序评分标准分数。文本、图像、音频、视频、PDF 最多可以 256K token 作为一个输入,在此基础上可附加最多 1,000 个独立问题(s1)。每个答案都附有 0~1 之间的置信度。Google 表示,因此可以将模棱两可的情况转交给备用路径或人工审核员(s1)。Google 列举的用途包括工具选择、策略检查、模型路由和上下文评估(s1)。
LangChain 也在同一天加入了决策模型抽象和模型路由器(s2,s3)。路由是一个选择问题,即“把请求发给哪个模型或工具”。因此可以认为,这一变化考虑的是把判断模型放在智能体流程岔路口的设计。不过,ModelRouterMiddleware 目前仍标注为测试版(s3)。
输出为概率后,就更容易设定阈值来区分“自动处理”和“人工审核”,解析文本失败的情况也会减少。
通用 LLM 调用与决策模型对比
通用 LLM生成答案
- 逐 token 生成答案
- 由代码解析文本
- 可解释理由·自由格式
决策模型为选项打分
- 一次 forward pass 完成打分
- 返回各选项的概率·置信度
- 一个输入打包多个问题
공통 两者都可用于路由·分类·策略检查
成本差异有多大?
最具体的数字来自 Amazon 的案例。据 GeekNews 的文章,Amazon 原本使用 Claude Sonnet 4.6 为大量内部工单从 20 个类别中选定一个,后来改用 Strands Decider E4B(s6)。据称在单独的工单评估中,E4B 的结果优于当时在用的模型。平均调用时间减少 78%,每张工单的 token 减少 70%,成本减少 98%,预计每年可节省数百万美元(s6)。这些数字均来自 Amazon 方面,没有经过独立验证。
Google 公布的价格为每 100 万输入 token 0.10 美元。输出 token 不计费,响应时间为 150~250ms(s1)。Google 称,在一组共享基准测试中,其成本比使用 Gemini 3.5 Flash-Lite 低近 5 倍(s1)。Google 还表示,即使把一次请求中的问题从 1 个增加到 100 个,延迟也几乎不变(s1)。
把两份资料放在一起看,成本下降似乎来自两个地方:一是不生成输出 token,二是把多个问题打包进同一个输入。因此可以认为,节省幅度取决于任务的形态。选项固定的重复性分类任务效果越明显;需要用文字解释理由的任务则不能直接套用。
在把“98%”当作自己的数字之前,应先确认自己的调用中有多少是输出为固定标签的调用。
转述的节省数字
可以替换到什么程度?
替换中最难的部分是质量依据。据称,Amazon 在替换前让两个模型在真实流量上同时运行,并以只采用原有模型结果的方式进行验证(s6)。这相当于在不影响运营的前提下,把新模型的判断与真实数据进行比较。
本周的依据也有局限。Gemini Decision 1 在各项基准测试中整体领先、校准误差最低,这一说法来自 Google 自己的发布(s1)。Amazon 的数字是经由社区转述的(s6)。Hugging Face 博客的具体内容在收集的资料中无法确认(s5)。这正是不能直接相信发布数字、而要用自己的数据重新测量的原因。
引入时还有一些实务条件需要注意。LangChain 的新版本已停止支持 Python 3.10,最低版本提高到 3.11。在 3.10 环境中会安装旧版本(s2, s3)。在 3.10 上运行的团队,需要先升级运行时,才能使用新的决策模型功能。
综合来看,这一趋势与其说是整体取代通用 LLM,不如说是分工。决策模型在前端负责路由、分类和检查,通用 LLM 则留在需要生成和解释的地方。
- 从最近一个月的 LLM 调用日志中,只挑出输出为固定标签或是/否的调用,计算它们在总成本和延迟中所占的比例。
- 选定一个替换候选的分类任务,让原有 LLM 和决策模型在真实流量上同时运行,但只采用原有模型的结果,以此比较准确率。
- 设定置信度阈值,设计分支逻辑,将低于阈值的案例交给通用 LLM 或人工审核;如果使用 LangChain,先确认运行时是否为 Python 3.11 及以上。
相关术语
Decision model SLM 按 token 计费 LLM-as-a-Judge 人在回路 结构化输出 A/B 测试 LLM 网关