判定可信吗：置信度标注、依据、审计追踪与评估

为什么要追问“置信度：中”

本文是“判定型 AI：Decision RAG 的虚与实”系列第 3 篇。第 2 篇讨论了一种分工：让 LLM 负责阅读和解释非结构化文档，让决策表和策略代码负责应用规则，最后落脚于每次判定都要记录规则版本。本篇探讨判定结果界面上附带的“置信度：中”“依据：条款第 5 条”这类项目是否真的可信。

在判定业务中，置信度和依据不是装饰。置信度高就自动确认，低就交给人，这个值决定业务流程走向哪一边。当客户提出异议或内部审计介入时，依据和记录是回答“为什么这样判定”的唯一材料。置信度值不靠谱，流程就会走错方向；记录空缺，就无法履行说明责任。

OECD AI 原则（w3）将透明度与可解释性，稳健性、安全保障与安全，问责，以及包括公平和隐私在内的人权与民主价值列为可信 AI 的价值。本文把这些原则落实为判定系统中的四项具体机制：经测量校准的置信度、交给人的标准、审计记录和评估集。

为什么口头表述的确信度会偏高

先梳理术语。LLM 置信度估计与校准综述（paper）把置信度分为两类。相对置信度是能否很好地区分正确答案与错误答案先后顺序的能力。绝对置信度是数值本身与实际准确率相符。如果模型说 70% 的那些案例实际上约有 70% 是对的，就称该模型“已校准（calibrated）”。衡量这一差距的代表性指标是 ECE（期望校准误差）。它把置信度值按区间分组，对每个区间的平均置信度与实际准确率之间的差距做加权平均。同一综述还指出 ECE 对区间宽度等设置很敏感，并介绍了用图形展示这一点的可靠性图。

那么，如果让 LLM“用 0~100 说出你的确信度”，会怎样？确信度引出研究（paper）在五类任务上测试了包括 GPT-4、LLaMA 2 Chat 在内的五个 LLM。模型口头表述的确信度总体偏向过度自信，数值主要集中在 80~100%，而且像人表达确信时那样，多为 5 的倍数。模型越大情况越好，但离理想水平仍有很大距离。用模仿人类对话方式的提示词可以大幅降低校准误差（ECE）。但事先识别哪些答案会出错的失败预测依然困难，在需要专业知识的任务上，各种方法都表现吃力。过度自信评估研究（paper）也报告，GPT-4、GPT-3.5、LLaMA2、PaLM 2 以及多种视觉-语言模型大多过度自信，校准误差很大。该研究提出 NCE（Net Calibration Error）作为区分误差偏向过度自信还是自信不足的指标，并指出即使要求给出均值·标准差或 95% 置信区间这样的数值范围，校准依然很差。

这一结果与判定系统设计直接相关。根据 Claude 文档（w2），结构化输出通过约束解码（constrained decoding）保证响应遵循 schema。字段类型和必填字段都会被遵守，文档中的分类示例也包含 confidence: float 字段。但这种保证针对的是格式。它保证 confidence 以浮点数输出，却不保证 0.8 意味着“这类案例十个中有八个是对的”。“高·中·低”这样的等级标注也一样。在测出“中”实际对应多少准确率之前，它只是个标签。

综述（paper）还整理了 LLM 中置信度估计特别困难的原因：可能的输出太多；不同表述可能意思相同，需要按语义单元判断；结果会随示例或示例顺序等提示词变化而大幅波动。获取确信度的方法大致有三种：口头询问；让模型对同一问题多次作答，看答案的一致程度；查看 token 概率等模型内部信息。

把不确定性变成行动信号

确信度引出研究（paper）把置信度估计拆成三个组件：让模型说出确信度的提示策略、获取多个答案的采样策略，以及计算这些答案一致程度的聚合策略。利用多个答案一致性的方法尤其改善了失败预测。使用内部信息的白盒方法更好，但差距不大，失败预测指标 AUROC 约为 0.522 对 0.605。不过研究者指出，没有哪种方法始终优于其他方法。从实务看，只能使用封闭 API 的组织也能通过基于一致性的方法获得不少收益，代价是每次判定的调用成本增加。

不确定性作为主动信号的综述（paper）总结说，趋势正在变化：不确定性正从“事后查看的诊断指标”转向“实时改变模型行为的控制信号”。在推理中，它用于决定再投入多少计算、是否自我修正；在智能体中，用于决定是否调用工具、是否进一步查找信息；在强化学习中，用于减少奖励黑客（reward hacking）。该综述在贝叶斯方法和保形预测（Conformal Prediction）等理论框架上解释这些趋势。

套用到判定业务上，置信度的作用与其说是在结果界面上显示一个数字，不如说是分流。借用综述（paper）介绍的区分，不确定性有因数据本身模糊而产生的（aleatoric），也有因模型知识不足而产生的（epistemic）。后者可以通过收集更多信息来减少。因此，自然的设计是：把“可以通过查询补充材料或重新询问规则引擎来减少的不确定性”导向工具调用，把“输入本身含糊或风险很大的案例”导向人工审核。此时各分支的阈值不由模型说出的数字决定，而是在评估集上测量各置信度区间的实际准确率，再据此确定。

如果是判定跨越多个步骤的智能体，难度还会再上一层。智能体不确定性量化研究（paper）指出，大多数不确定性研究仍停留在一问一答的场景，并列出智能体特有的四项挑战：选择哪种估计方法；如何处理性质各异的对象（工具结果、用户回复等）的不确定性；如何建模不确定性在交互中的变化；以及缺乏细粒度基准。这意味着不能以为只要每一步分别测量置信度，就掌握了整体判定的置信度。

学会何时交给人：转交学习

“没把握就交给人”这条规则看似简单，却缺了一点：接手的人在该案例上是否真的做得更好。转交学习研究（paper）把这个问题变成了学习问题。它同时训练直接做预测的分类器，以及决定是否把该案例交给下游专家的拒绝器（rejector）。训练只需要专家过去所做决策的样本。研究者把这个问题转化为代价敏感学习，提出了推广交叉熵损失的一致代理损失函数，并在多个实验任务中展示了效果。

打个比方，这就像新入职审核员与组长的关系。好的新人不会只上报“我拿不准的”，而是上报“组长明显比我看得准的类型”。如果是两人都拿不准的案例，上报也不会提高准确率，只会占用组长的时间。反过来，如果有新人很有把握却经常出错的类型，那么不论新人多自信，这类案例都应上报。转交学习主张，是否转交不应只看模型的不确定性，而要把模型和人各自的准确率以及错误成本放在一起决定。

在实务中，即使不单独训练拒绝器，也可以直接运用这一思路。第一，对交给人的每个案例，记录人做出的最终决定。积累下来后，就能按案例类型比较模型和人的准确率。第二，转交标准不只设一个置信度阈值，而是综合案例类型、金额或风险等级、审核人力能承担的量来确定。第三，修改转交标准时，也要像第 2 篇讲的规则变更一样标注版本并做回归测试。人在参考 AI 建议做判断时出现的问题，以及如何确定自动化水平，将在第 4 篇讨论。

依据与审计追踪：每次判定要留下什么

判定记录有两个目的。一是事后说明“为什么会得出这个判定”，二是在相同条件下重新运行，确认结果是否一致。要同时满足这两个目的，不仅要留下结果，还要留下产生结果的材料和版本。每次判定应记录的项目如下。

输入快照是判定当时的文档和输入值原样。原件之后可能被修改，因此要留存副本或哈希。提取的事实是 LLM 从文档中读出的结构化值。所用规则版本是第 2 篇讨论的决策表·策略代码的版本。参考文档是检索后作为依据使用的文档片段的标识符及该文档的版本。模型·提示词版本要一并记录模型标识符、系统提示词和示例的版本以及采样设置。置信度记录不仅要留下数值，还要留下计算方式（是自我报告，还是采样几次得到的一致性）以及当时所用校准标准的版本。路径是指走向了自动确认、追加查询、人工审核中的哪一条。人工介入记录要留下是否审核、审核人、修改内容及理由。最后记录通知客户的最终结果。

依据项不能止于“有”，还要验证。设置自动检查环节，确认判定说明引用的条款或文档片段是否真的在参考文档列表中，以及该片段中是否真的有相应内容。依据字段和 confidence 字段一样，只保证格式，内容是否正确需另行确认。

可复现性检查就靠这些记录来做。用相同的规则、模型、提示词版本重新运行保存的输入快照，看判定是否相同。规则引擎负责的部分每次都应相同。LLM 负责的提取和解释部分，即使输入相同输出也可能不同，因此要看最终判定发生变化的比例是否在容许范围内。正如综述（paper）所指出的，LLM 对示例及其顺序等提示词变化很敏感。所以哪怕只是稍微修改提示词，也要记为新版本并重新做可复现性检查。

评估：用什么来衡量判定

出发点是带有正确答案判定的评估集（Evals）。收集由专家确认过的过往案例，但不要只放简单案例。在置信度引出研究（paper）中，所有方法在需要专业知识的任务上都表现不佳，因此要有意纳入业务上难以判断的案例和边界案例。若要评估委派标准，还要一并记录人对这些案例做出的决定。

用这个评估集衡量的不只是准确率。第一是校准。按置信度区间测量实际准确率，用ECE和可靠性图呈现，并用NCE这类能反映方向的指标确认是否偏向过度自信（paper）。第二是失败预测。看置信度能多好地区分正确判定和错误判定，例如AUROC。正如置信度引出研究（paper）中校准误差下降而失败预测没有变化，这两者可能各自变化。第三是一致性。看同一案例只换表述或只调换文档顺序输入时，判定是否保持不变。第四是群体差异。按客户群、地区、受理渠道等有意义的分段，分别查看准确率、自动确认率和人工委派率，找出被整体平均值掩盖的差异。第五是随时间推移的漂移。输入文档的形式、规则、模型版本一旦变化，之前设定的校准标准就可能失效。定期把运营中由人确认的案例加入评估集，并重新检查校准。

在组织层面，可以参考NIST AI RMF框架。根据NIST页面（w1），AI RMF是一个自愿采用的框架，帮助在AI产品、服务和系统的设计、开发、使用和评估中纳入可信性方面的考量。它于2023年1月26日发布，同时推出了实施指南Playbook。2024年7月26日发布了生成式AI概况（NIST-AI-600-1）。2026年4月7日发布了关键基础设施概况的概念说明，AI RMF 1.0正根据白宫AI行动计划进行修订。本文参考的页面摘录中没有出现测量、管理职能的细项，因此这里不断定上述评估项目与各职能之间的对应关系。建议先整理好校准、一致性、群体差异、漂移的测量，以及委派标准和重新校准等管理机制，再直接阅读Playbook，对照公司内部的风险管理项目进行核对。

常见错误检查清单

最常见的错误是未经测量就把JSON中的confidence字段或“高、中、低”标记当作概率使用。由此引出的错误是凭感觉设定阈值。“0.8以上自动确认”这样的规则，只有在评估集上确认了该区间的实际准确率之后才有意义。想到研究中口头表达的置信度集中在80~100%，凭感觉设定的阈值可能会让几乎所有案例都通过。

第二类是误以为问题已经解决。即使通过提示词让模型变得谦逊、校准误差下降，失败预测也可能没有变化。委派标准只看模型的自信程度，而不看人是否更擅长判断该类型、审核人员能承担多少工作量，这种情况也很常见。把一问一答式的评估结果直接套用到多步骤运行的智能体判定上，也属于同类错觉（paper）。

第三类是记录和运营上的漏洞。因为有依据字段，就不核实引用内容。记录中缺少模型、提示词、规则版本，导致无法复现。评估集建好一次后不再更新，错过漂移。只看整体准确率，不看群体差异。在部署前和定期检查时一并核对下面的清单。

延伸学习，以及第4篇

想先把概念打牢，可以先读LLM置信度估计与校准综述（paper）的第2章（基本概念与指标）。其中整理了相对置信度与绝对置信度、ECE以及两类不确定性。接着读置信度引出研究（paper），可以通过实验看到在只能使用封闭API的环境中能做什么。过度自信评估研究（paper）篇幅较短，只确认NCE指标和数值范围的校准问题即可。

如何把不确定性融入设计，可接着读“作为主动信号的不确定性”综述（paper）的设计模式部分；扩展到智能体时出现的难点，可读智能体不确定性量化研究（paper）。委派学习研究（paper）数学比重较大，只读到问题设定和分类器、拒绝器结构，就足以理解本文的委派标准。制度方面，可在NIST AI RMF页面（w1）查看AI RMF 1.0和Playbook，在OECD AI原则（w3）查看基于价值观的原则。结构化输出能保证什么、不能保证什么，可以直接查阅Claude文档（w2）。

本篇集中讨论如何把置信度和依据变成可测量的值。但测量完成后，“哪些判定应留给人”“人会在多大程度上跟随AI的建议”“监管如何要求人的角色”这些问题仍然存在。第4篇《人站在哪里：自动化水平、监管与案例》将讨论这些问题。