AI 风险管理
AI 风险管理是在组织层面提前识别、评估并降低 AI 系统可能造成的危害（歧视、故障、侵犯个人隐私、安全事故等）的管理活动。美国 NIST 发布的 AI RMF 是具有代表性的参考框架。
工作原理
NIST AI RMF 将风险管理分为四项职能。首先通过治理（Govern）确定负责人、原则和流程，为组织文化奠定基础。在映射（Map）中，了解 AI 用在何处、可能对谁产生何种影响等背景。在测量（Measure）中，对准确性、偏见、安全等风险进行测试并以指标确认；在管理（Manage）中，确定优先级，并作出降低风险、接受风险或停止使用的决定。这一过程不是一次性的，而是在 AI 从开发到运营的全过程中持续循环。
NIST AI RMF 的四项功能
治理（Govern）
- 1映射（Map）
- 2测量（Measure）
- 3管理（Manage）
- 1. 映射（Map） 了解用途与影响
- 2. 测量（Measure） 测试风险并形成指标
- 3. 管理（Manage） 决定降低、承受或停止
为什么重要
AI 正迅速进入招聘、贷款审批、医疗、客户咨询等直接影响人的领域。一旦出现错误判断、幻觉或数据泄露，损害会很大，企业信誉也会动摇。随着欧盟 AI 法案这类按风险等级设定义务的法规出台，能够记录并说明如何管理风险的体系变得越来越重要。AI RMF 这样的框架即使不是强制性规定，也能作为组织确定优先检查事项的共同语言。
注意事项
风险管理不只是技术团队的工作，需要法务、安全和业务部门共同参与才能见效。由于不可能消除所有风险，关键在于确定可以承受到什么程度的标准。红队、Evals、人在回路（human-in-the-loop）等实践方法，在这一框架中被用作“测量”和“管理”的手段。如果只备齐文档而不监控实际运行，很容易流于形式。
示例
企业引入内部咨询聊天机器人时，可以这样遵循这一框架：先梳理会收到哪些问题、会访问哪些数据（映射），上线前通过红队测试是否会给出离谱的回答或泄露个人信息（测量），并为危险问题设置护栏、设计成转交给人工处理（管理）。为整个过程指定负责人和审批流程，就是治理。