探索合成数据的实证隐私图景

问题

用敏感数据微调语言模型，可能导致模型记住并泄露训练数据。然而，在相同条件下同时比较数据阶段防御（合成、改写、PII去除）与训练阶段防御（DP-SGD等）的性能和泄露的研究还很少。

方法

在用Synthea生成的5,000条合成患者记录中，加入了100个植入虚假药物名的金丝雀。金丝雀以1、4、16、32、64次重复插入，共7,340条。比较了不训练、直接微调、PII去除、DP-SGD（ε=8）、Goldfish、普通改写、隐私感知改写（指示将罕见细节替换为虚构值）。目标模型为Qwen3.5-4B-Base和gpt-oss-20b，用LoRA训练。泄露通过句子续写和问答中金丝雀药物名的perplexity衡量，性能通过held-out记录和药物名的perplexity衡量。

结果

• 直接微调在两个模型上性能都最好，但泄露也很严重。DP-SGD减少了泄露，但性能损失很大。
• PII去除只删除姓名、地址等标识符，保留了虚假药物名等非标识性事实，在高重复次数下泄露程度与直接微调相近。
• 在两个目标模型上，隐私感知改写在隐私和性能排名上都高于普通改写。DP-SGD和基于GPT-5.5的隐私感知改写即使在64次重复下也能抵抗泄露。
• LLM评审评估的数据隐私与句子续写泄露指标强相关（ρ=0.89）。相反，评审评估的数据质量无法预测性能提升（ρ=-0.64）。
• 用5份改写版本训练1个epoch的结果，并不优于用1份改写版本训练5个epoch的结果。

局限

改写方法没有形式化的差分隐私保证，只做了实证评估。泄露和性能都只用基于perplexity的指标衡量。目标模型只有2个，训练使用LoRA和单一随机种子。数据为Synthea合成记录，可能与真实临床文档的多样性不同。每个重复水平使用不同的金丝雀组，金丝雀本身的难度混杂其中。改写需要额外的生成成本。

意义

表明用敏感数据微调模型时，仅靠PII去除是不够的。改写提示词的设计在很大程度上决定性能与隐私的平衡，可直接为设计数据预处理流程提供参考。

关键术语

金丝雀（Canary）

故意植入训练数据中的独特秘密信息。如果模型能说出它，就是发生了记忆和泄露的证据。

DP-SGD

裁剪每个样本的梯度并加入噪声，从数学上限制单个训练样本影响的差分隐私训练方法。

Goldfish

按照既定规则将部分token排除在损失计算之外，以减少逐字记忆的训练技术。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• Hugging Face

作者: Zihao Zhao, Avi Schwarzschild, Casey Meehan, Katherine Lee, Zhili Feng, Dylan Sam · 发布 2026-10-15 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。