AI 隐私：训练数据会泄露吗——成员推理、数据提取与差分隐私

为何需要：“模型只是概括数据”这一观念

机器学习模型通常被视为仅从大量数据中提炼出一般规律的产物。然而，训练数据中包含人们的购买记录、位置、医院记录等敏感信息。成员推断攻击研究（paper）指出这些服务会使用训练数据，并提出了一个问题：仅凭最终得到的模型，能推知关于原始数据的哪些信息？

在语言模型中，这种看法更为根深蒂固。根据 GPT-2 训练数据提取研究（paper），大语言模型往往在经过去重的海量数据上只训练一遍（1 epoch）。因此几乎看不到过拟合（只在训练数据上表现好、在新数据上性能下降的现象）。正因如此，“模型不会记住特定文档”的想法广为流传。

本文介绍的研究逐步表明这一想法是错误的。模型即便平均而言不会记忆，也会记住一部分“最坏情况”的数据。而这些信息仅通过 API 提问就可能泄露出来。

核心思路：背下考题的学生

想象一个背下了历年真题的学生。面对见过的题目，会格外自信、答得飞快；面对没见过的题目，则会迟疑。只要观察这种差异，就能察觉“这道题见过”。这就是成员推断。再进一步，只念出题目的开头，让对方把背下的答案一直背完，这就是训练数据提取。

两种攻击的目标不同。成员推断用“是/否”回答“这条记录是否在训练数据中？”。数据提取则直接取出训练数据的原文本身。像医疗数据这样，仅仅出现在某个数据集中这一事实就很敏感的情况（例如特定疾病的患者名单），单靠成员推断就会造成损害。

防御方面的思路——差分隐私（Differential Privacy）是这样说的：如果学生无论看没看过某一道题，外在表现都几乎相同，观察者就无法判断其是否看过这道题。这是一种从数学上把单条数据的影响力限制在很小范围内的方法。

工作原理：影子模型、异常高的概率、噪声

成员推断攻击研究（paper）提出了“影子训练（shadow training）”。攻击者不了解目标模型的内部，只能看到提问和回答（黑盒）。因此，攻击者先亲自训练多个行为与目标模型相似的影子模型。由于攻击者知道影子模型的训练数据，就能为每个输入标注“是否用于训练”这一真实标签。然后用这些带标签的输出训练攻击模型。攻击模型成为一个分类器，用来区分“对训练时见过的输入的反应”和“对首次见到的输入的反应”。也就是说，它把成员推断转化成了一个分类问题。

针对 LLM 的数据提取（paper）分两步进行。首先从模型中大量生成各种文本（3 种采样策略）。接着用 6 种指标对每段文本排序，这些指标将该文本在此模型中的可能性与其他参照模型进行比较。其逻辑是：只有目标模型给出异常高概率的文本，很可能是被记住的文本。

RLVR 差分隐私研究（paper）的说明清楚地展示了差分隐私训练的基本流程。将要保护的单位（在该研究中是一道题）的梯度（修正权重的方向）汇总后，先对其大小进行一次截断（clipping），再加入高斯噪声。然后把训练反复进行过程中累积的隐私损失加总，计算出总预算（ε）。ε 越小，保护越强，性能代价也越大。

发展脉络：从分类模型到商用聊天机器人

成员推断攻击研究（paper，2016）攻击了用 Google 和 Amazon 的“机器学习服务”构建的分类模型。在用 1 万条规模的零售交易数据训练的模型上，推断准确率的中位数分别为 94% 和 74%。即使完全不了解训练数据分布、只用完全合成的数据构建影子模型，针对 Google 模型的准确率也达到 90%。在得克萨斯州医院出院数据上也超过了 70%。研究人员用数据表明泄露与过拟合有关。作为防御手段，他们比较了只显示前 k 个类别、降低预测值精度、正则化等方法。

同年，差分隐私深度学习研究（paper，2016）成为防御方面的起点。该研究提出了新的学习算法技术和精细的隐私代价分析，并表明在不大的隐私预算内，也能在使软件复杂度、训练效率和模型质量保持在可接受水平的同时训练深度神经网络。

GPT-2 训练数据提取研究（paper，2020）把舞台移到了 LLM。在 1,800 个候选样本中，有 600 多个与 GPT-2 训练数据的原文完全相同。在最佳设置下，67% 的候选是原文。提取出的内容包括姓名、电话号码、电子邮件等个人信息，IRC 对话，代码，以及 128 位 UUID。在训练数据中只出现在一篇文档里的句子也被提取了出来，而且大模型比小模型更脆弱。

大规模提取研究（paper，2023）把这一点扩展到实际服务。研究人员从 Pythia、GPT-Neo 等开源模型，LLaMA、Falcon，以及闭源模型 ChatGPT 中提取了以 GB 计的训练数据。针对经过对齐的 ChatGPT，他们新设计了“发散攻击”。诱导其偏离聊天机器人式的回应后，它以比正常运行时高 150 倍的比率大量吐出训练数据。结论是，当前的对齐技术并不能消除被记住的内容。

近期走向：上下文中的记忆、测量的局限、新训练方式中的保护

第一，研究者正在重新审视实际部署环境中的泄露。上下文中的记忆提取研究（paper）在 3 个经过指令微调的开放权重模型上进行配对测量，比较直接输入训练文本的前段（前缀）时，与像 RAG 那样在前面附加检索到的文档时，提取效果有何不同。上下文并没有抹去被记住的内容。存在一个无论上下文如何都会被提取的“稳固核心”，以及随上下文而变化的“边界”。前缀越长，即使附加了上下文，提取也越容易成功。上下文阻止了边界附近的部分暴露，但也会产生仅用前缀评估时看不到的新暴露。这相当于给“使用 RAG 能降低记忆泄露风险”的观点加上了限定条件。

第二，研究者正在重新衡量成员推断到底有多可信。OLMo-Detect（paper）是基于训练数据全部公开的 OLMo 2 构建的基准，覆盖预训练、中期训练和后训练所有阶段。它对齐用于训练的文本（成员）与未用于训练的文本（非成员）的分布，以进行公平比较。研究评估了 15 种无监督攻击和 3 种有监督攻击，最好的攻击 AUC 也只有 0.68。AUC 为 0.5 相当于抛硬币，1.0 表示完美区分。检测在中期训练阶段效果最好，但这并非由训练阶段造成，而是由数据类型造成（经过清洗的数学数据明显更容易被识别）。模型从 1B 增大到 13B 时分数上升，但到 32B 时不再提高。

第三，研究者正在把差分隐私扩展到新的训练方式。RLVR 差分隐私研究（paper）将题目级差分隐私应用于 RLVR（用可以自动判分的题目进行的强化学习）。研究人员表示，据他们所知，这是针对 RLVR 训练的首个保证。他们用 LoRA 在 ε=8 的预算下训练 Qwen2.5-1.5B-Instruct。奖励信号使 MATH 提高了 2.65 分，GSM8K 提高了 3.24 分。比同等预算的隐私 SFT 方法高 2.3~3.8 分，并保留了未应用隐私的 GRPO 所获提升的 85~90%。在 MATH 上，即使把预算收紧 8 倍，损失最多也只有 1.2 分。

局限与争议

防御是有代价的。GPT-2 训练数据提取研究（paper）指出，差分隐私训练在理论上很扎实，但会延长训练时间，而且通常会降低性能。该研究认为，数据去重确实有助于减少记忆，但无法阻止所有攻击。此外，还必须正确设定保护单位。如果同一个人的信息分散在多篇文档中，以单篇文档为单位的保护可能不够。该研究附加说明，应当以“适当的记录单位”来应用。

常用的变通办法也并不完善。对齐没能消除被记住的内容（paper），RAG 之类的上下文虽能减少部分暴露，却可能带来新的暴露（paper）。修饰输出的防御（只显示前 k 个、降低精度）是以分类模型为对象进行比较的方法（paper）。因此，本文的资料中没有依据可以认为它们对生成式模型同样有效。

测量工具本身也存在争议。成员推断也被视为审查“这些数据是否用于训练”的审计或版权纠纷的依据。但正如 OLMo-Detect（paper）的结果所示，在 LLM 上最好的攻击 AUC 也只有 0.68。所以不应把“未被检测到”当作“未用于训练”的证据。反过来，攻击较弱也不意味着没有泄露。因为提取攻击针对的不是平均情况，而是“最坏情况”下被记住的句子。

延伸学习

如果是初学者，建议先读 GPT-2 训练数据提取研究（paper）。它最直观地解释了 LLM 的记忆问题是什么，以及为什么即使没有过拟合也会出现。最后的防御讨论也能直接联系到实际工作。接着通过成员推断攻击研究（paper）掌握影子模型技术及其与过拟合的关系，就能为阅读后续的成员推断研究打下基础。

如果你是服务运营者，最好把将对象范围扩展到商用模型的大规模提取研究（paper）和探讨 RAG 环境下暴露问题的上下文中的记忆提取研究（paper）一起阅读。如果在考虑防御设计，可以先通过差分隐私深度学习研究（paper）把握概念，再在 RLVR 差分隐私研究（paper）中通过具体数字了解如何在预算与性能之间权衡。

如果打算用成员推断来审计数据是否被使用，强烈建议阅读 OLMo-Detect（paper）。它展示了攻击的实际性能，以及如果不对齐成员与非成员的分布，结果会如何被夸大。