决策模型：不写文字、只回答选项的 AI

为什么需要：“只需要选一个答案而已”

很多软件并不需要 AI 写长篇文字。它们只需要从既定选项中选出一个的判断，比如这条咨询该转给哪个部门、这条评论是否属于仇恨言论、这句话属于哪个情感类别。可是如果用生成式 LLM（大语言模型）来做这类工作，模型要逐个生成 token（文字片段）来写答案，程序还得重新解析这段文字。这样既慢又贵，还有以奇怪格式作答的风险。

置信程度也是个问题。要用阈值（threshold）筛选分类结果，就需要用数字知道“有多确定”。向生成式模型询问置信度时，它会用文字回答（言语化置信度），但无法保证这个值与实际正确率吻合。

决策模型（Decision model）正是针对这一空白的模型类型。一项社会科学文本标注研究（paper）将其介绍为“专为分类式问答打造的新模型类型”，说明它返回的不是自由文本，而是选项、整个标签集的概率分布和置信度分数，成本只是前沿（frontier）模型的极小一部分。另外，“决策模型”一词在法律信息学和风险分析中也有完全不同的含义。本笔记只讨论作为 AI 模型类型的决策模型。

核心思路：用选择题答题卡代替论述题

如果说生成式 LLM 是写论述题答案的考生，决策模型就是在选择题答题卡的每一格里填上“是这个答案的概率”的考生。问题和选项由出题人（开发者）决定，模型只给每个选项打分。评卷程序无需阅读文字，只要选出概率最高的答案，或者在概率达不到标准时交给人处理即可。

相关研究把这称为“类型确定的（typed）”决策。每个问题的答案形式都事先声明，例如是/否、从多个选项中选一个、有顺序的等级等。Jev（TypeSafe AI 的 System One 决策模型）最先为路由、内容审核和分诊（triage）推出了这种接口，随后出现了一些公开实现（paper）。

“System One”这个名字来自代表快速、直觉思维的“系统 1”，意思是扫一眼就立刻作答的方式。SanSi 研究（paper）也把一次前向传播描述为“快速、直觉的 System 1 思维”。

如何运作：读一遍，给每个选项打分

第一，开发者声明问题和选项。选项通常带有简短的标签，以及说明何时应选该标签的定义（paper）。例如，标签为“紧急”，定义为“需要在 24 小时内处理的故障报告”。

第二，模型一次性读取输入文本、问题和选项。生成式模型要经过逐个 token 续写答案的“解码”阶段，而决策模型只经过处理输入的“预填充（prefill）”阶段。一项仅预填充模型研究（paper）解释说，这类模型通过一次前向传播为菜单上的所有候选打分、不做解码，因此单次调用成本比同等规模的生成式模型便宜 10~100 倍。

第三，模型末端的“决策头”为每个选项输出概率（paper）。程序可以直接接收这个概率分布，选出最高的答案，或者设计级联处理（cascade），在置信度较低时交给更强的模型或人处理。

发展脉络：2026 年秋季的评估研究

Jev 问世后，短期内相继出现了探讨“是否真的好用”的评估研究。一项计算社会科学研究（paper）在 18 个分类任务（7,977 个条目）上，将首个商用决策模型和两个开放权重（Open weights，权重公开的）模型与 19 个 LLM 进行了比较。在 15 个评估任务中，决策模型有 14 个落后于各任务表现最好的 LLM，差距的中位数为 macro-F1（对各类别准确度均匀平均的分数）11.6 分。不过，其测量成本按中位数计低 44 倍。其置信度的校准（calibration）优于 19 个 LLM 中 16 个的言语化置信度。校准良好的意思是，说“90% 确定”的答案实际上有接近 90% 是对的。然而，在同伴咨询对话的共情判断任务中，它在表现出高置信度的同时性能却很差。

仇恨言论审核研究 HATEDECIDE（paper）的结果则较为有利。在 4 个数据集中，商用 LLM 在统计上显著领先所有决策模型的情况只有一个；在诊断性测试中，最好的托管式决策模型与最好的商用 LLM 只差 1.6 个 macro-F1 分，而推理成本低约 97%。不过，同时给出仇恨言论的定义时，最多有 28% 的预测发生了变化，但性能并没有稳定提升；把问题拆分成多个时，只有 20% 的比较出现了显著提升。

范围最广的评估是 JEVal（paper）。它用来自 10 个应用领域、36 个数据集的 11,257 个案例评估了 25 种模型配置。决策模型在仅凭给定依据就能判断的任务上最具竞争力，在需要专业知识或诚实的不确定性估计的任务上较弱。它倾向于在答对最可能答案的同时大幅夸大其概率。该研究还提出了基于开放权重模型的 InnerJev-4B 和 InnerJev-27B。

同一时期也出现了改变架构的尝试。SanSi（paper）采用对同一层反复应用多次的“循环”，让模型无需生成 token 就能在确定答案前修正内部状态。研究者称之为“System 1.5 思维”。它在来自 59 个来源的 10,027 个决策上取得了 72.0% 的准确率，比同架构的非循环模型高 13.5 分，与参数（Parameter，表示模型规模的变量）为其 3 倍的模型相差 1.8 分。

近期的发展方向

第一，“选项怎么写”成了研究课题。“标签胜过定义”研究（paper）表明，公开的决策模型会依据标签名称而非选项定义作答（option-label bias）。即使删除全部定义，准确率也几乎不变（0.8559 对 0.8487）；把选项名称改为 A 和 B 后，准确率反而提高了 0.1511。两个代码库的唯一区别在于选项写成“{标签}: {定义}”还是只写定义，只要改变这种表述，无需改动权重就能消除这一偏差。这说明提示（Prompt）格式的细微差别会改变判断规则本身。

第二，有研究试图在部署前决定把计算资源用在哪里。仅预填充模型研究（paper）表明，在输入文本不变、只改变候选列表（菜单）的情况下，只需把首次计算得到的概率按新菜单重新归一化，就能把变化后的准确率预测在 4.2 分以内。这一性质体现在排序上而不是概率值本身，同等规模的生成式模型不具备这一性质。在成本相同的情况下，基于置信度的级联处理优于重复询问同一模型，优化菜单也优于扩大模型。

第三，是“是否真的需要单独的模型”这一问题。LLM-as-Jev（paper）表明，只要读取通用 LLM 对括号内数字编号的下一个 token 概率，就能得到经过校准的决策。未经训练的 4B 模型取得了与基于同一骨干网络构建的社区 Jev 类模型相近的性能，还能处理包含图像的多模态（Multimodal）决策。微调（Fine-tuning）只在特定情况下效果显著，例如较弱的模型或选项非常多的意图分类。

局限与争议

最大的争议是置信度在多大程度上可信。决策模型的优点在于以数字形式给出置信度，但 JEVal（paper）报告了夸大概率的倾向，社会科学研究（paper）则报告了在高置信度下隐藏着低性能的任务。对于用阈值筛选置信度的系统，需要针对每个任务单独验证。

第二，是在由许多小判断累积而成的系统中的错误累积。JEVal 指出，在多步往返的 τ-bench 环境中，快速判断缩短了回合时间的中位数，但判断错误沿着长路径不断累积，导致任务成功率下降。在大规模社会模拟中，个体回答预测接近强 LLM，但在用户画像方面较弱，汇总估计误差和系统性偏差也更大。把它用作 AI 智能体（AI Agent）的组件时尤其需要注意这一点。

第三，接口的表现与直觉不同。人们以为写好定义模型就会遵循该规则，但实际上出现过模型依据标签作答（paper），或者给出定义后预测只是发生波动、性能却没有提升的情况（paper）。从开发者的角度看，“写好定义就行”这一假设需要通过测试来确认。

延伸学习

如果想先把握全局，建议先读 JEVal（paper）。它跨多个领域梳理了决策模型擅长哪些决策、在哪些地方会失效。接着把实际应用案例——计算社会科学标注研究（paper）和仇恨言论审核研究 HATEDECIDE（paper）——放在一起读，就能用具体数字看到准确率、成本与置信度之间的权衡。

对开发者，推荐两篇可直接用于实践的论文：一篇是讨论选项标签与定义写法陷阱的“标签胜过定义”研究（paper），另一篇是讨论候选菜单设计与计算资源分配的仅预填充模型研究（paper）。最后，如果关注结构层面，可以对比阅读通过循环计算增加思考时间的 SanSi（paper），以及把通用 LLM 直接当作决策模型使用的 LLM-as-Jev（paper），从而自行判断“该用专用模型还是通用 LLM”这一问题。