后门攻击
后门攻击是在 AI 模型中暗中植入“触发器”,使模型平时看似正常运行,只有在收到特定信号时才按攻击者的意图行动的攻击。
通俗解释 这类似于一名潜伏特工:平时正常工作,一听到约定的暗号就悄悄打开保险柜。在不知道暗号的人看来,毫无异常。
工作原理
攻击者在训练数据中悄悄混入带有触发器的样本。触发器是不易察觉的信号,比如特定的词或短语、图像角落的小图案。这些样本都配有攻击者想要的答案,因此模型会同时学到“看到触发器就这样回答”的关联。也有不改数据、而是直接修改模型权重后发布的方式。由于模型对不含触发器的输入回答正常,一般的性能评估很难发现。
为什么重要
如今下载公开的模型和数据集直接使用或进行微调非常普遍,一旦有人在中间环节植入后门,就可能扩散到许多服务中。可能造成的危害包括:垃圾邮件过滤器放过含特定短语的垃圾邮件,或图像识别模型误读贴了贴纸的交通标志。如果是编程智能体,还可能只在特定条件下生成存在漏洞的代码。也有研究结果表明,LLM 中的后门即使经过安全训练也可能难以消除。
注意事项
数据投毒泛指污染训练数据的各类攻击,后门攻击可以看作其中植入“隐藏条件行为”的情况。防御的基础是只使用来源经过确认的模型和数据,并用 AI BOM 记录其中包含了什么。检查训练数据、红队搜寻触发器、追加微调等缓解措施也有应用,但目前还没有能完全发现后门的方法。
示例
下载开放权重模型用于内部服务的企业,会在部署前用 AI BOM 整理模型的来源和组成部分,并由红队输入可疑的短语或模式,检查模型是否会突然出现异常行为。一旦发现异常反应,就不再使用该模型,或用可信的数据重新微调以降低风险。