← AI 术语表

AI 术语表 · 进阶 · AI 安全 · 安全与对齐

成员推断攻击

成员推断攻击是仅通过观察模型的反应,试图推断某些数据是否被用于训练 AI 模型的攻击。如果训练数据是敏感数据,仅“被包含在内”这一事实就可能泄露个人信息。

关于这个术语
难度
进阶 · 需要了解内部原理的专业术语
加入时间
2026-10-09
通俗解释 这就像拿到试题的学生答得格外快且自信时,人们会猜测“这道题他之前见过”。不过,实际攻击并非确凿证据,而是概率性推测。

如何运作

模型往往对训练时见过的数据表现出更高的置信度。攻击者将可疑数据输入模型,观察输出概率或置信度是否异常高,从而判断其“被用于训练”或“未被使用”。常见方法是用相似数据自行构建练习用模型(影子模型),训练一个判别器来区分模型对见过的数据和初次见到的数据的反应差异。在 LLM 中,常用的方式是比较句子的 token 概率有多高。

训练中用过的数据 vs 从未见过的数据

训练中用过的数据模型见过

  • 置信度高
  • token 概率高

从未见过的数据模型没见过

  • 置信度相对较低
  • token 概率低

공통 这种差异越大,攻击越容易得手

攻击者以模型在两种情况下的反应差异为线索。

为什么重要

例如,对于用特定疾病患者数据构建的模型,仅凭某人的记录被纳入训练这一事实,就会暴露此人是患者。因此,它被用作从个人信息保护角度衡量模型安全程度的代表性标准。反过来,作者或企业也将其用作确认“我的文字是否被用于训练”的工具。检查基准题目是否混入训练数据的数据污染检查,也使用相同的思路。

注意事项

模型对训练数据记得越死,也就是过拟合越严重,攻击就越容易得手。也有观点指出,在大规模 LLM 上判别比想象中更难,因此不应对结果作出武断的解读。防御手段包括应用差分隐私、减少过拟合、不直接向外部暴露输出概率值等。这种攻击只能判断数据“有没有”被用于训练,而把内容本身提取出来则属于训练数据提取。

示例

处理医疗、金融等敏感数据的机构,会在部署模型前的审计阶段主动尝试成员推断攻击。如果攻击很容易得手,就说明个人信息泄露风险较大,于是会在应用差分隐私或减少输出信息后再次测试,以确认效果。

相关术语