← 分析

分析 · 2026-11-17 · 作者 bombong

小型决策模型能否取代通用 LLM 调用

同一周内,Google、LangChain、Hugging Face 相继推出或开始支持“回答选项”的决策模型,Amazon 的替换案例也有消息传出。本文结合依据梳理:这类模型与通用 LLM 有何不同、成本从哪里降低、可以替换到什么程度。

一幅铁路调车场的图:小信号所操纵道岔,把大部分列车送往旁边较短的支线,只有少数几列驶向远处的大站。
AI 生成图像 · 一幅铁路调车场的图:小信号所操纵道岔,把大部分列车送往旁边较短的支线,只有少数几列驶向远处的大站。
要点

同一周发布了什么?

11 月第二周,“回答选项”的模型在多个层面同时出现。决策模型(Decision model)不写长篇回答,只为给定的每个选项返回概率和置信度(GeekNews,s6)。

Google 于 11 月 11 日发布了由新模型 Gemini Decision 1 驱动的 Gemini Decisions API(Google 博客,s1)。同日,LangChain 在 langchain-core 1.8.0 中加入了决策模型抽象(s2),在 langchain 1.5.0 中增加了模型路由器和自动模式中间件(s3)。langchain-typesafe 0.1.0 将 TypeSafeClassifier 实现为决策模型(s4)。Hugging Face 也发布了一篇介绍 Hub 上决策模型的博客文章(s5)。在此之前,11 月 10 日 GeekNews 上有文章称,Amazon 已将内部工单分类模型换成 Strands Decider E4B(s6)。据本站统计,“Strands Decider”本周在 1 条官方发布和 1 条社区内容中被提及。

也就是说,模型 API、框架、模型 Hub 和运营案例在一周内相互衔接。与其说是推出了一款新产品,不如理解为在构成智能体的组件中,“判断”被拆分出来、成为标准组件的过程。

对从业者来说,现在是重新审视“分类就用提示词交给通用 LLM”这一默认做法的时候了。

决策模型集中出现的一周

  1. 11月10日
    Amazon 替换案例工单分类改用 Strands Decider E4B
  2. 11月11日
    Gemini Decisions API基于 Gemini Decision 1
  3. 11月11日
    LangChain 新版本决策模型·模型路由器
运营案例、模型 API 和框架在两天内接连出现。

生成模型与判断模型有何不同?

用通用 LLM 做分类时,模型逐个 token 生成答案,代码再解析文本、提取标签。Gemini Decision 1 的工作方式不同。据 Google 介绍,它不生成答案,而是通过一次 forward pass 为候选选项打分,返回概率和置信度(s1)。

Google 公布的问题形式有三种(s1):是/否条件的概率、从 2~255 个选项中选择、从 0 开始的有序评分标准分数。文本、图像、音频、视频、PDF 最多可以 256K token 作为一个输入,在此基础上可附加最多 1,000 个独立问题(s1)。每个答案都附有 0~1 之间的置信度。Google 表示,因此可以将模棱两可的情况转交给备用路径或人工审核员(s1)。Google 列举的用途包括工具选择、策略检查、模型路由和上下文评估(s1)。

LangChain 也在同一天加入了决策模型抽象和模型路由器(s2,s3)。路由是一个选择问题,即“把请求发给哪个模型或工具”。因此可以认为,这一变化考虑的是把判断模型放在智能体流程岔路口的设计。不过,ModelRouterMiddleware 目前仍标注为测试版(s3)。

输出为概率后,就更容易设定阈值来区分“自动处理”和“人工审核”,解析文本失败的情况也会减少。

通用 LLM 调用与决策模型对比

通用 LLM生成答案

  • 逐 token 生成答案
  • 由代码解析文本
  • 可解释理由·自由格式

决策模型为选项打分

  • 一次 forward pass 完成打分
  • 返回各选项的概率·置信度
  • 一个输入打包多个问题

공통 两者都可用于路由·分类·策略检查

用两种方式处理同一分类任务时的差异。

成本差异有多大?

最具体的数字来自 Amazon 的案例。据 GeekNews 的文章,Amazon 原本使用 Claude Sonnet 4.6 为大量内部工单从 20 个类别中选定一个,后来改用 Strands Decider E4B(s6)。据称在单独的工单评估中,E4B 的结果优于当时在用的模型。平均调用时间减少 78%,每张工单的 token 减少 70%,成本减少 98%,预计每年可节省数百万美元(s6)。这些数字均来自 Amazon 方面,没有经过独立验证。

Google 公布的价格为每 100 万输入 token 0.10 美元。输出 token 不计费,响应时间为 150~250ms(s1)。Google 称,在一组共享基准测试中,其成本比使用 Gemini 3.5 Flash-Lite 低近 5 倍(s1)。Google 还表示,即使把一次请求中的问题从 1 个增加到 100 个,延迟也几乎不变(s1)。

把两份资料放在一起看,成本下降似乎来自两个地方:一是不生成输出 token,二是把多个问题打包进同一个输入。因此可以认为,节省幅度取决于任务的形态。选项固定的重复性分类任务效果越明显;需要用文字解释理由的任务则不能直接套用。

在把“98%”当作自己的数字之前,应先确认自己的调用中有多少是输出为固定标签的调用。

转述的节省数字

98%Amazon 成本下降
78%平均调用时间下降
70%每张工单 token 下降
0.10 美元Gemini Decision 每 100 万输入 token
Amazon 的数字来自社区转述,价格来自 Google 发布。没有独立验证。

可以替换到什么程度?

替换中最难的部分是质量依据。据称,Amazon 在替换前让两个模型在真实流量上同时运行,并以只采用原有模型结果的方式进行验证(s6)。这相当于在不影响运营的前提下,把新模型的判断与真实数据进行比较。

本周的依据也有局限。Gemini Decision 1 在各项基准测试中整体领先、校准误差最低,这一说法来自 Google 自己的发布(s1)。Amazon 的数字是经由社区转述的(s6)。Hugging Face 博客的具体内容在收集的资料中无法确认(s5)。这正是不能直接相信发布数字、而要用自己的数据重新测量的原因。

引入时还有一些实务条件需要注意。LangChain 的新版本已停止支持 Python 3.10,最低版本提高到 3.11。在 3.10 环境中会安装旧版本(s2, s3)。在 3.10 上运行的团队,需要先升级运行时,才能使用新的决策模型功能。

综合来看,这一趋势与其说是整体取代通用 LLM,不如说是分工。决策模型在前端负责路由、分类和检查,通用 LLM 则留在需要生成和解释的地方。

实践者可以尝试的事
  1. 从最近一个月的 LLM 调用日志中,只挑出输出为固定标签或是/否的调用,计算它们在总成本和延迟中所占的比例。
  2. 选定一个替换候选的分类任务,让原有 LLM 和决策模型在真实流量上同时运行,但只采用原有模型的结果,以此比较准确率。
  3. 设定置信度阈值,设计分支逻辑,将低于阈值的案例交给通用 LLM 或人工审核;如果使用 LangChain,先确认运行时是否为 Python 3.11 及以上。

相关术语

Decision model SLM 按 token 计费 LLM-as-a-Judge 人在回路 结构化输出 A/B 测试 LLM 网关

来源

本文由 AI 起草,发布前已与所引用的公开资料核对链接和数字,发布后由运营者再次审阅。文中包含作者的解读。 写作与审核方式 · 更正记录