红队
红队是为了找出 AI 模型的弱点，故意站在攻击者的立场尝试欺骗和滥用模型的测试活动。
通俗解释 这类似于银行为了做安全检查，委托专家“像真正的小偷一样尝试闯入”。目的是在真正的攻击者发现之前，由自己人先找到漏洞并堵上。
工作原理
红队这个名字来自军事演习中扮演敌军的队伍。AI 红队会以多种方式攻击模型，例如尝试越狱、设法套取危险信息、诱导模型给出带偏见的回答等。这可以由人类专家亲自进行，也可以由其他 AI 模型大量生成攻击性问题来测试。发现的弱点会用于重新训练模型或加强护栏。
为什么重要
即使是开发 AI 模型的公司，也很难事先了解模型的全部行为。红队几乎是在发布前暴露真实用户或恶意人员会遇到的问题的唯一方法。因此，主要 AI 公司在推出新模型前，常常会整理并公布红队测试结果。对于网络安全、生物和化学风险等需要专业知识的领域，有时还会另外邀请外部专家进行测试。
注意事项
红队是寻找弱点的活动，并不能保证模型安全。未经测试的攻击方式仍可能存在。此外，红队所用的攻击技术本身也可能被滥用，因此管理向谁开放、开放到什么程度也很重要。每当模型发生变化都需要重新进行，这是一项持续性的工作。
示例
据本站介绍的报道，Anthropic 将其网络安全相关的访问体系重组为防御、红队、特殊三个层级。这可以看作是将安全专家像攻击者一样测试系统的红队用途单独划分出来，并管理此类活动所需的模型访问权限。