AI 术语表 · 进阶 · 安全与对齐 · MLOps 与 LLMOps · 金融与保险
模型风险管理
模型风险管理是一套管理体系，用于防止金融机构使用的信用评分、定价和 AI 模型因出错或被误用而造成损失，覆盖模型开发、验证、审批、监控到退役的全过程。
关于这个术语
工作原理
首先，把公司内所有模型纳入清单（模型清单）管理，并按影响程度分级。新模型必须由独立于开发团队的验证团队审查数据、假设、性能和局限后才能获批。部署后要监控是否出现性能下降，或输入数据特征发生变化的数据漂移，并定期重新验证。不再适用的模型要修正或退役。通常采用“三道防线”结构运行，由开发和使用部门、独立验证与风险管理部门、内部审计分别承担各自职责。
模型生命周期管理
模型清单与分级管理
- 1开发
- 2独立验证
- 3审批与部署
- 4监控
- 5重新验证、修正、退役
- 1. 开发 整理数据与假设
- 2. 独立验证 由开发以外的团队检查
- 4. 监控 性能下降、数据漂移
为什么重要
金融机构在贷款审批、保费核定、衍生品定价乃至资本监管计算上都高度依赖模型。如果模型建立在错误假设之上，或被用于原本目的以外的场景，就可能导致重大损失或不公平的决策。因此，金融监管机构把模型风险管理视为金融机构的基本义务，美国监管机构的 SR 11-7 指引常被作为代表性标准引用。随着 AI 和机器学习模型增多，管理对象和范围也在扩大。
注意事项
现有体系是以统计模型为前提建立的，难以直接套用到 LLM 这类生成式 AI 上。LLM 对同一个问题可能给出不同回答，难以解释判断依据，而且由于是外部供应商的模型，往往难以直接核查其训练数据和内部结构。因此，业界正在讨论把提示词和检索文档也纳入验证范围，并结合幻觉与偏差检查、Evals 和人工审核的方法。为了应对监管，记录模型基于什么数据做出了什么决定也很重要。
管理 LLM 时还需关注的内容
模型特性
- 同一问题的回答是否保持一致
- 能否解释判断依据
- 是否掌握了外部供应商模型的信息
验证范围
- 是否也验证了提示词和检索文档
- 是否检查了幻觉和偏差
- 是否设置了 Evals 和人工审核
- 是否保留决策记录
示例
假设一家银行要引入新的信用评分模型。开发团队构建模型后，独立验证团队会测试训练数据是否存在偏差、在经济衰退等情形下是否依然稳健，经委员会批准后再部署。部署后监控违约率预测是否与实际出现偏离，差距变大时就启动重新验证。同一家银行引入面向客户咨询的 LLM 聊天机器人时，也会在这一体系内检查回答质量和风险。