← AI 术语表

AI 术语表 · 基础 · 安全与对齐 · 国防与安全

有意义的人类控制

有意义的人类控制(Meaningful Human Control)是一项原则,指当 AI 或自主系统参与使用武力的决策时,人不能只是形式上按下批准按钮,而必须保持能够真正理解、判断并承担责任的控制水平。

关于这个术语
难度
基础 · AI 新闻中常见的技术术语
分类
行业 AI
加入时间
2026-10-10
通俗解释 即使坐在自动驾驶汽车的驾驶座上,如果在打瞌睡,也不能说在控制驾驶。只有在观察状况、知道车为什么这样行驶、必要时能立即握住方向盘时,才是“有意义的”控制。

是什么

这一原则源于这样的问题意识:仅凭“人在回路中”这句话是不够的。如果机器在几秒内做出判断,而人只是照单批准,那么表面上看是人做的决定,实际上等于机器做的决定。因此要考察控制的“质量”。主要要素包括:人是否理解系统的运作方式和局限,是否有足够的时间和信息做判断,能否介入或叫停,以及能否追溯结果的责任。

有意义控制的要素

理解

  • 是否了解运作方式和局限
  • 是否有足够的时间和信息做判断

介入·责任

  • 能否介入或叫停
  • 能否追溯结果的责任
将正文列举的要素整理为检查项。缺少任何一项,都可能沦为形式化控制。

为什么重要

在自主武器系统的讨论中,当意见分为全面禁止和允许两派时,这一概念一直充当多个国家和组织可以共同讨论的通用标准。国际人道法以由人来做出攻击的区分、比例和预防判断为前提,而这一原则是为了让这些判断在 AI 时代仍由人掌握的机制。此外,它还能在发生事故时不以“是机器干的”了事,而是留下需承担责任的人。

注意事项

对于“有意义”究竟指什么水平,目前尚无公认的定义。人过度信任并照搬机器判断的“自动化偏见”,是造成形式化控制的典型原因。对于判断时间极短的防御情境等人难以每次都介入的情况该如何处理,也是持续讨论的争议点。因此,操作人员培训、系统可解释性、使用范围限制、记录留存等设计和运营措施也会被一并讨论。

示例

在国防领域引入由 AI 分析监控影像并推荐可疑目标的系统时,这一原则会转化为具体的设计要求。例如,在屏幕上同时显示 AI 的判断依据和置信度,保证操作人员有时间审查,并记录最终决定及其理由。这样,事后就可以确认人是否真正参与了判断。

相关术语