人该站在哪里：从判定自动化级别、监管与案例看虚与实

系列结语：为什么最后的问题是“人的位置”

本文是“判定的 AI：Decision RAG 的虚与实”系列的第 4 篇，也是最后一篇。前几篇可以用一段话概括。第 1~2 篇考察了 Decision RAG 的结构和用途：查找规定和文件、附上依据并作出判定。第 3 篇讨论了以下几点：LLM 口头表达的置信度容易偏高，因此 JSON 中的 confidence 字段并不能直接当作概率；不确定性应作为把案件分流到“自动确认、补充查询、人工审核”的信号；每次判定都应把输入、规则版本、依据和人工介入内容留作审计记录。

剩下的问题只有一个：这样作出的判定，能在多大程度上交给机器，而人又应站在哪个环节？这个问题与其说是技术问题，不如说更接近组织和监管问题。同一个模型，用于审批小额保险理赔时是缩短客户等待时间的工具；用作终止疗养期的依据时，则可能直接伤害患者。

本文以金融和医疗（含保险）领域为中心，先把自动化级别分为三级，再梳理欧盟和美国的监管要求什么，以及实际案例中哪些做法奏效、哪些出了问题。监管部分是对公开条文和新闻稿的概述，不构成法律意见。具体是否适用，须经各组织法务审查。

自动化的三个级别：自动判定、辅助、上报

设计判定业务时，要决定的不是“用不用”，而是“每个案件送到哪个级别”。本文分为三个级别。第一是自动判定。对于风险低、金额小、规则明确、出错也容易纠正的案件，由 AI 全程处理，人在事后抽样检查。

第二是辅助。AI 生成判定草稿并整理依据，由人作出决定。这里的关键是不能只给人看结论。要同时展示依据文件、所适用的规则、反方向的依据以及第 3 篇讨论的置信度信号，人才能真正作出“判断”。第三是上报（升级处理）。风险大、事实不清、在监管上属于高风险的决定，或对申请人不利的决定，要上报给有经验的负责人，并给予充足的审核时间。

本文建议的实践原则很简单。自动化从“批准”一侧开始，“拒绝”留给人。错误批准的小额案件可以通过事后检查发现，而被错误拒绝的人如果不提出异议，损害就会一直存在。此外，送往哪个级别不应让模型自己决定，而应结合金额、产品、决定方向等外部规则和实测的置信度来确定。

欧盟监管怎么说：《人工智能法》与 GDPR 第 22 条

欧盟《人工智能法》附件 III（w3）列出了高风险 AI 系统清单。与金融和保险直接相关的是第 5 项“获得基本私人和公共服务”。其中包括：评估自然人信用度或给出信用评分的系统（用于检测金融欺诈的除外）；在人寿和健康保险中用于自然人风险评估和定价的系统；公共机构用于评估包括医疗服务在内的公共福利资格，或发放、削减、收回福利的系统；以及急诊患者分诊系统。招聘和人事决定（第 4 项）以及教育评估（第 3 项）也在同一清单中。

第 14 条“人类监督”（w1）规定，高风险系统在使用期间必须在设计和开发上能让人“有效地”进行监督。监督的目的是防止或减少健康、安全和基本权利方面的风险，监督手段应与风险、自主程度和使用情境相称。手段分两类：一类由提供者预先内置于系统，另一类由提供者确定、由部署者（实际使用的机构）执行。据条文解读网站（w1），针对附件 III 高风险系统的这一条款自 2027 年 12 月 2 日起适用。

第 86 条（w2）是获得个别决定解释的权利。部署者基于附件 III 高风险系统（第 2 项关键基础设施除外）的输出作出决定，若有人认为该决定产生法律效力或造成与之相当的重大不利影响，可以要求就 AI 在决策过程中的作用和决定的主要要素获得清晰、有意义的解释。同一网站称该条款自 2026 年 8 月 2 日起适用。如果其他欧盟法律已赋予相同权利，则以该法律为准。

GDPR 第 22 条（w4）是更早的规定。它规定个人有权不受“仅基于自动化处理”（包括画像）作出、并产生法律效力或与之相当的重大影响的决定的约束。为履行合同所必需、法律允许或有明确同意时属于例外，但即使在合同和同意例外中，也必须至少保障要求人工介入、表达自身观点和对决定提出异议的权利。实务中的难点在于“仅”字。仅由人走形式确认的流程能否被认定为非自动化决定，是一个解释问题，因此应在设计阶段接受法务审查。

美国银行监管：OCC 指南留下的空白

美国货币监理署（OCC）在 2026 年 4 月 17 日的新闻稿（w5）中宣布，与美国联邦储备委员会（美联储）、美国联邦存款保险公司（FDIC）联合发布新的模型风险管理指南。指南废止了 2011 年的模型风险管理监管指南（Bulletin 2011-12）和 1997 年的信用评分模型检查指南等此前文件，并明确模型风险管理应根据银行的规模、复杂程度和模型使用程度，以基于风险的方式进行。指南明确表示，它不是具有强制力的标准，不遵守也不会招致监管批评。指南还称，它与总资产超过 300 亿美元的银行关系最大。

与本文主题直接相关的是这句话：OCC 表示，生成式 AI 和智能体 AI 模型较新且变化迅速，因此不在本次指南的适用范围内。三家机构计划在近期就银行使用 AI、特别是生成式和智能体 AI，发布征求意见书（RFI）。

在实务中，不能把这理解为“没有监管就可以随意”。基于 LLM 的判定系统目前既没有直接纳入现有模型风险管理框架，也没有被排除在外。为应对今后的监管方向，从现在起就以不低于现有模型的标准保留判定记录、验证和人工介入记录，会更稳妥。

从案例看“实”：小额、大量、规则明确的业务

Allianz Project Nemo（澳大利亚，理赔处理）。据行业媒体 Coverager 报道（w6），Allianz 于 2025 年 7 月在澳大利亚推出首个智能体 AI 系统，用于处理暴风等自然灾害期间集中涌入的食品损坏（因停电等导致食物变质）理赔申请。七个分别负责保障核实、天气验证、欺诈筛查和赔付金额计算的专业智能体协同工作，可在一天内、通常在几小时内处理 500 澳元以下的理赔。关键在于，最终赔付决定仍由人类理赔员作出。处理和结算时间缩短 80% 这一数字，来自 Allianz Services 首席创新官的公司方面表态，并非经过独立验证的数据。

Lemonade（美国，理赔自动处理）。Lemonade 公司博客（w8）宣布，理赔处理机器人“A.I. Jim”在 3 秒内完成了一件被盗外套理赔的审核、批准和付款指令。据称在这 3 秒内，它对照了保险条款并运行了 18 个反欺诈算法。公司在同一篇文章中也写道，A.I. Jim 经常把理赔转交给人类工作人员，因此并非所有理赔都能即时处理。也就是说，这是自动判定与上报并存的结构。

两个案例的共同点是：金额小、件数多、判定规则（保障范围、天气记录、免赔额）明确。此外，自动处理的方向主要是快速“赔付”，这一点也相同，与第 2 节所说的“先从批准开始自动化”原则相呼应。不过，两个来源都是公司发布或转述公司表态的报道，因此也应记住：错误率、事后纠纷等反向指标无法通过公开资料确认。

警示案例：“橡皮图章”式监督带来的问题

UnitedHealth 诉讼（美国，医疗保险）。据 STAT 报道（w9），2023 年 11 月，有人对 UnitedHealth Group 及其子公司 NaviHealth 提起集体诉讼。原告方声称，公司利用预测患者护理时长的算法（nH Predict）系统性地拒付重症患者的康复治疗费用。起诉书以经申诉后被推翻的拒付比例为依据，声称该算法的错误率为 90%。这些是诉讼中提出的主张，并非法院认定的事实。公司反驳称，该工具不用于决定是否给予保障，诉讼毫无依据，并表示最终判断由医生审核员作出。不过，STAT 此前的调查报道称，公司将康复时长控制在算法预测值 1% 以内设定为管理人员目标，而医生审核员收到的拒付建议，也是由受此目标约束的工作人员提交的。

Cigna 报道（美国，医疗保险）。ProPublica 与 The Capitol Forum 2023 年的调查报道（w10）关注了 Cigna 名为 PXDX 的审核方式。报道称，算法筛出诊断与公司认可的检查或手术不匹配的理赔后，公司内部医生不打开患者病历就批量签字拒付。报道援引内部文件称，两个月内有超过 30 万件理赔被拒，平均每件仅用 1.2 秒。Cigna 反驳称报道有偏颇且不完整，并表示该系统是为加快常规检查理赔的赔付而设计的，只决定诊疗之后是否赔付，并不阻止诊疗本身。

两个案例的共同点是，“由人作最终决定”的结构在文件上是存在的。被质疑的是：这个人是否真正拥有作出判断的时间、信息和权限，以及在得出与算法不同的结论时是否不会受到不利对待。这就是“橡皮图章（rubber stamp）”问题。欧盟《人工智能法》第 14 条（w1）之所以要求的不只是“监督”，而是“有效的”监督，原因也在于此。此外，两个案例的决定方向都是“拒绝”，纠正损害的途径都取决于当事人的申诉，这一点也相同。

虚与实：哪些是真实效果，哪些是错觉

“虚”有三点。第一，只是换了名字的判定自动化。即使冠以“AI 智能体”或“Decision RAG”之名，如果它只是以更高成本重复原有规则引擎的工作，或者像上述警示案例那样成为批量盖章拒绝的工具，就没有新的价值。第二，置信度栏带来的错觉。正如第 3 篇所见，屏幕上显示“置信度 0.92”时，人会相信这个数字而看得更少。未经校准的数字会削弱人的监督。第三，只有“由人作最终决定”字样的监督。如果没有审核时间、可查看的信息以及提出反对时的处理路径，这句话不过是把责任推给人的装置。

“实”也有三点。第一，缩短小额、大量、规则明确业务的处理时间。Allianz 和 Lemonade 的案例（w6、w8）属于这一领域。第二，起草初稿和整理依据。由人来决定，但由 AI 收集整理相关规定、文件和过往案例，人的审核就可能真正变得深入。第三，留有记录的判定。如果每次判定都保留输入、依据、规则版本和人的修改内容，就更容易说明欧盟《人工智能法》第 86 条（w2）所说的“决定的主要要素”，也能应对申诉。

常见错误也整理如下：以与算法结果的一致率来设定人类审核员的处理目标（件数、时间）；完全不测量人与 AI 判断不同的比例；不把经申诉被推翻的比例反馈到模型评估中；以及不确认用途是否属于高风险清单（w3），仅凭“辅助工具”的名义来划定范围。

引入顺序、检查清单及延伸学习

从小处起步的顺序如下。1）列出业务清单，按金额、件数、规则明确性、是否易于撤回、是否受监管（附件III、GDPR 第 22 条）进行分类。2）起初把所有案件都放在“辅助”阶段，并排记录 AI 初稿和人的决定。3）收集人与 AI 判断不同的案件、经申诉被推翻的案件，分析原因。4）从一致率和校准已得到充分确认的小额批准案件开始转为“自动判定”，并配套事后抽样检查。5）拒绝、高额和模糊的案件继续保留在“上报”阶段，并定期重新审视各阶段的标准。

需要检查的项目如下：人类审核员能否看到依据文件和反对依据；审核所需时间是否已反映在业务目标中；作出与 AI 不同的判断是否不会受到不利对待；是否在测量人推翻的比例和申诉结果；能否向当事人说明 AI 的作用和决定的主要要素；判定记录是否以可复现的形式保留。如果是美国银行，还应同时跟踪两点：生成式和智能体 AI 目前不在 OCC 指引（w5）范围内，以及已预告的征求意见。

如需进一步学习，最好先读条文。用欧盟《人工智能法》附件III（w3）确认自己的业务是否在高风险清单中，再连读第 14 条（w1）、第 86 条（w2）和 GDPR 第 22 条（w4），就能看清“监督”“说明”和“申诉”如何相互衔接。美国方面，OCC 新闻稿（w5）原文篇幅不长。案例方面，建议结合公司的反驳阅读 STAT（w9）和 ProPublica（w10）的报道，并自问本组织的审核流程是否可能受到同样的批评。“作判定的 AI”系列到此结束。