国防 AI：应用领域与人类控制原则

什么是国防 AI，为什么需要它

英国国防部政策文件（w2）将 AI 定义为“一组通用技术”。它是让机器完成原本需要人类或生物智能才能完成的任务的技术，尤其是指从数据中学习如何完成这些任务的技术。该文件指出，AI 能让人们处理过去难以想象的数据量，从而改进决策和作战执行。同时文件明确表示，AI 本身不是目的：只有在带来明确收益或导向更合乎伦理的结果时，开发和使用 AI 才有充分理由。

NATO 于 2024 年 7 月 10 日发布的修订版 AI 战略摘要（w1）指出，生成式 AI 等强大技术正以前所未有的速度扩散，因此在可用之处应尽快采用。同时，该战略还把识别并应对敌对方使用 AI 所带来的威胁列为目标。这意味着国防 AI 需要同时处理“我方使用的 AI”和“对方使用的 AI”两个方向。

国防与其他行业最大的不同在于，判断结果直接关系到军人和平民的生命。英国国防部（w2）承认，AI 对人的影响所带来的风险和担忧在国防领域可能尤为突出，并警告如果不加以应对，可能失去公众支持，甚至削弱作战能力。因此讨论国防 AI 时，“由谁决定、由谁负责”与性能同样重要。

组成要素：应用领域与自主程度

国防 AI 的应用领域通常分为四类。第一，情报、监视与侦察（ISR）分析：整理不断累积的图像、信号、报告等资料，为分析人员筛选出应优先查看的候选项。第二，维修与后勤：如通过异常检测发现装备异常迹象，或通过时间序列预测估计零部件需求，属于风险相对较低的支持性工作。第三，指挥决策支持：汇总态势、展示选项和依据，最终决定由指挥官作出。第四，无人系统：如维基百科条目（w4）所述，包括无人机（UAV）、无人水下系统（UUV）、无人地面车辆（UGV）等形式。本文所依据的资料中没有各领域的性能数据，因此具体效果需要依据各项目的测试结果来判断。

NATO（w1）区分了只执行特定任务的狭义 AI，与可用于多种目的的前沿模型和基础模型，认为两者在风险、相关主体和复杂程度上各不相同。NATO 还把以下问题列为值得关注的议题：将民用市场的军民两用技术用于军事环境时产生的技术与治理问题，以及人机协同作业时的责任问题。

自主性不是“有/无”的问题，而是程度问题。英国国防部（w2）解释说，武器所需的人类参与既可以是实时监督，也可以是由人设定系统的运行参数（何时、何地、针对什么目标运行）。根据维基百科（w4）引用的英国国防部分类，自动化系统能执行复杂任务，但不能进行复杂决策；而自主系统可以在没有人监督的情况下确定行动方针。维基百科（w4）总结称，截至 2025 年，大多数军用无人机和机器人仍需人的控制，并不是真正的自主系统。

设计原则：NATO 与英国国防部的负责任 AI

NATO 在 2021 年的 AI 战略中采纳了国防领域 AI 的六项“负责任使用原则（PRU）”（w1）：合法性、责任与问责（Responsibility and Accountability）、可解释性与可追溯性、可靠性、可控性（Governability）、减少偏见。修订版战略不止于宣示原则，而是以“PRU 的落地实施”为目标，把原则转化为实际流程。其预期成果还包括：增加遵守这些原则的 AI 应用案例，并将基于高质量数据把 AI 整合进成员国军力的可衡量步骤纳入 NATO 防务规划流程。

英国国防部（w2）提出“雄心勃勃、安全、负责任”三大支柱，核心是“系统视角”。问题可能不在于这项能力被设计用来做“什么”，而在于它“如何”去做，因此要在涵盖设计、制造、运行到退役的整个生命周期，以及多个系统相互交织的“系统之系统”整体中寻找解决办法。该文件表示，由于技术变化迅速，与其在早期预先设定任意限制，不如通过整个国防体系的流程来确保安全、负责任的结果。文件还表示，将始终遵守国内外法律义务，继续适用现有的安全与监管体系，并为合乎伦理的引入建立清晰的框架和流程。本文参考的节选中没有英国的具体原则清单，具体原则需查阅原文。

两家机构的表述虽然不同，但共同点很明确：遵守法律；对结果负责的人要明确；能够追溯发生了什么、为什么发生；运行可靠；人能够控制并叫停。在实务中，起点是把这些原则改写为需求和测试项目。

围绕自主武器系统（LAWS）的国际讨论

讨论困难的第一个原因是定义不同。根据维基百科条目（w4），各国尚无普遍认可的 LAWS 定义。美国国防部指令 3000.09 将其定义为“一经启动，无需人类操作员进一步干预即可选择并攻击目标的系统”，其中也包括操作员可以监督和干预的系统。法国则将其狭义地理解为能够超出既定使用框架、自行修改运行规则的“完全自主”系统。尽管如此，许多国家和组织都认同其核心特征是“一经启动，即在没有人类输入的情况下选择并攻击目标”。同一条目称，联合国政府专家组（GGE）在 2026 年 9 月的会议上就界定 LAWS 特征的措辞达成一致，取得了进展。

红十字国际委员会 2021 年的立场文件（ICRC，w3）这样描述自主武器的运作方式：在人最初启动后，系统依据传感器信息和概括性的“目标特征”自行发起攻击。因此，使用者既不选择、也不知道具体目标及确切的时间和地点。ICRC 认为，这有可能伤害平民和战斗人员，并加剧冲突；还会使遵守国际人道法变得困难，并带来用传感器和软件取代人类生死决定的伦理问题。据此，ICRC 建议制定具有法律约束力的新规则：禁止无法充分理解、预测和解释其效果的自主武器，以及以人为目标的自主武器；其余自主武器则从目标类型、使用期限·地域·规模、使用情境（如无平民的场所）以及人机交互（有效监督和及时干预·停止）等方面加以规制。

英国国防部（w2）并不排除在武器系统中引入 AI，但承认某些概念可能无法以安全、负责任的方式实现。它还表示，识别、选择和攻击目标的武器必须具备“与情境相适应的人类参与”。通常所说的“有意义的人类控制”，讨论的归根结底正是这一点：人在何时、对什么、在多大程度上知情并作出决定。另一方面，维基百科（w4）指出，在一些需要快速应对来袭威胁的防御系统中，由于速度要求，很难把人留在决策回路之内。也应同时看到，控制的形式可能因情境而异。

分步实施方法：测试评估与引入流程

第一，先明确目的。正如英国国防部（w2）所说，AI 本身不是目的。要先写清楚它减少的是哪项业务中的哪个瓶颈，以及它是否明显优于不用 AI 的做法。第二，及早识别安全、法律和伦理风险。英国国防部（w2）表示将提供框架，帮助开发团队及早发现并解决此类风险。根据应用领域（是维修支持，还是与目标相关的功能）设定不同的风险等级和审查强度，是比较现实的做法。

第三，管理数据。NATO（w1）把高质量数据视为 AI 整合的前提，并把全球可用于模型训练的高质量公开数据可能减少列为议题。要记录数据来源和数据血缘，并检查数据投毒等被操纵的可能性。第四，严格测试和评估。英国国防部（w2）表示将采用在设计阶段消除问题（design out）的方法，并严格测试基于 AI 的解决方案。应把实验室性能与真实环境的差异、对抗样本等对方蓄意欺骗的情形以及红队攻击纳入测试项目。

第五，设计人类控制。按照 ICRC（w3）提出的要求，确认有效监督和及时干预·停止在实际中是否可行。要以文件形式确定：界面上是否显示依据、停止装置是否有效、由谁审批。第六，部署后持续监控。NATO（w1）将保护和监控 AI 技术并管理相关风险列为目标。要持续重新评估，确认性能是否因数据漂移而下降。

民用领域的通用框架也可作为参考。根据美国 NIST 页面（w5），NIST AI 风险管理框架（AI RMF）于 2023 年 1 月 26 日发布。它是供自愿采用的框架，帮助将可信性考量融入 AI 设计、开发、使用和评估的全过程。NIST 于 2024 年 7 月 26 日发布了生成式 AI 配置文件，并于 2026 年 4 月 7 日发布了关键基础设施配置文件概念说明。AI RMF 1.0 目前正在修订中。该页面并未专门讨论国防，因此它不能替代国防特有的法律和交战规则审查，而应作为设计风险管理流程时的参考框架。

检查清单

引入前，确认目的与责任。应以文件形式明确：该系统是否带来明确收益，由谁对结果负责。还要检查是否已把 NATO 六项原则（w1）转化为需求，是否经过了国内外法律义务审查（w2）。

技术方面，确认训练和评估数据的来源与质量是否可追溯；检查是否在接近实际的条件和对抗条件下做过测试，能否解释结果产生的原因并追溯记录。

控制方面，确认是否由人设定运行范围（对象、时间、地域），能否进行实时监督和干预·停止（w2、w3）。操作人员是否有时间和信息对 AI 的建议进行批判性审查也很重要。运行后，检查是否有性能变化监控、事故报告和重新评估流程。

常见错误与局限

最常见的错误是把自主性等同于能力。英国国防部（w2）指出，“更自主”并不一定意味着“更有能力”，人机协作的 Human-Machine Teaming 在整体效果、资源利用和现实可行性方面能取得最佳结果。第二个错误是把测试环境中的性能夸大为实战性能。战场与训练数据不同，而且对方会蓄意欺骗。第三种情况是人只是形式上审批。一旦形成照单批准机器建议的习惯，即使书面上是人作出决定，实际控制也会被削弱。

此外还有结构性局限。如维基百科（w4）所示，各国对“自主”和“LAWS”的定义不同，会出现用同一个词讨论不同事物的情况。正如 ICRC（w3）所指出的，在依据目标特征自行发动攻击的系统中，使用者不知道具体目标和时间，责任归属也就可能因此变得模糊。NATO（w1）列出的问题——将民用军民两用技术用于军队时的治理问题、计算密集型 AI 的能耗、高质量公开数据的减少——也都是尚未解决的课题。

最后是信息方面的局限。国防 AI 的很多内容并不公开，外部很难核实其实际性能和控制水平。本文同样基于公开的政策文件和立场文件，不足以作为判断特定系统实际运行方式的依据。

延伸学习

建议先读英国国防部“雄心勃勃、安全、负责任”政策文件（w2），了解国防机构如何兼顾 AI 引入与安全的总体框架。接着通过 NATO 修订版 AI 战略摘要（w1）了解联盟层面的原则和目标。

关于自主武器的讨论，ICRC 立场文件（w3）对争议点和规制建议的呈现最为精炼。各国定义的差异和近期联合国讨论的动向，可以通过维基百科 LAWS 条目（w4）概览，但由于它是二手资料，最好另行核对其引用的原文（美国国防部指令、GGE 报告）。

如果需要实际设计风险管理流程，可以从 NIST AI RMF 页面（w5）进一步查阅框架正文、操作手册（Playbook）和生成式 AI 配置文件。建议一并了解的术语有：人在回路、AI 风险管理、红队、对抗样本。