对抗样本
对抗样本是经过刻意细微修改的输入：人眼几乎看不出差别，AI 模型却会做出完全不同的判断。可以把它看作专门用来欺骗模型的“错觉题”。
通俗解释 这类似于几张在人看来只是污渍的贴纸，就让驾驶辅助系统把“停车”标志识别成别的标志。不过，与人的错觉不同，它是通过计算精确瞄准模型弱点而制造出来的。
工作原理
AI 模型依赖输入中的细微模式来确定答案。攻击者会找出朝哪个方向改变输入最能动摇模型的判断，然后沿该方向加入非常微小的变化（噪声）。如果是图片，就逐点微调像素值；如果是文字，就替换一个词或不显眼的字符。在人看来是同一张图片、同一句话，模型却给出截然不同的答案。能够查看模型内部的称为白盒攻击，只通过提问和获取回答来寻找的称为黑盒攻击。
白盒攻击与黑盒攻击
白盒了解模型内部
- 直接计算使判断动摇的方向
- 尝试次数少、瞄得准
黑盒只看提问和回答
- 不断改变输入并观察反应
- 更接近对实际服务的攻击
공통 两者都用人眼察觉不到的微小变化推翻模型判断
为什么重要
自动驾驶、人脸识别、垃圾邮件和恶意软件检测等许多场景中，AI 的判断直接关系到安全与安防。在这些场景中，如果微小的操纵就能推翻判断，可能会造成严重损失。此外，对抗样本清楚地表明，模型更多依赖统计模式，而不是像人一样理解“含义”。因此，它也被用作检验模型鲁棒性（robustness）的代表性工具。
注意事项
代表性的防御方法是“对抗训练”，即刻意生成对抗样本并混入训练数据。但对某一种攻击变强的模型，往往对其他方式的攻击依然脆弱，因此一般认为目前还没有完美的防御方法。在 LLM 中，通过附加奇怪字符串来绕过安全机制的越狱攻击，有时也用同样的原理来解释。提高鲁棒性可能要付出代价，例如平时的准确率略有下降。
示例
运营图像识别服务的公司会在上线前由红队生成对抗样本，检查模型有多容易被欺骗。例如，向商品图片审核模型输入加了人眼看不见的噪声的图像，确认它是否会把违禁商品当作正常商品放行，并把结果重新纳入训练数据。