← AI 术语表

AI 术语表 · 进阶 · AI 安全 · 数据工程

差分隐私

差分隐私是一种数学化的隐私保护方法:在数据中混入经过计算的一定量“噪声”,使人仅凭分析结果无法判断某个特定个人是否在数据中。

关于这个术语
难度
进阶 · 需要了解内部原理的专业术语
加入时间
2026-10-09
通俗解释 这类似于在问卷中回答敏感问题之前,每个人偷偷抛一枚硬币,正面就如实回答,反面就随机回答。单个人的回答不可信,但汇集很多人之后,整体趋势会相当准确地显现出来。

工作原理

核心思想是“无论某一个人的数据在不在,结果都应该几乎相同”。为此,在统计值或模型训练过程中加入随机噪声,隐藏单个人对结果的影响。加入多少噪声,由一个叫“隐私预算”的值来调节。预算设得小,噪声就大,保护更强,但结果的准确度会下降;预算设得大,则相反。

隐私预算的拉锯

← 噪声多 · 保护强 · 准确度低噪声少 · 准确度高 · 暴露风险 →
123
  1. 预算设得极小
  2. 按用途确定的平衡点
  3. 预算设得极大
预算设在哪里,保护强度和准确度就朝相反方向变化。图中位置是用于说明概念的示例。

为什么重要

仅删除姓名或身份证号这类简单的去标识化,在与其他数据比对后,有时仍能重新识别出个人。差分隐私的不同之处在于,无论攻击者拥有什么背景知识,它都能在数学上保证保护水平。AI模型可能会记住部分训练数据并原样输出,而在训练中应用差分隐私可以降低这类个人信息泄露风险。因此,它在医疗、金融等处理敏感数据的领域备受关注。

须知要点

保护不是免费的。噪声会降低结果或模型性能,尤其是数据量少或针对少数群体的分析,损失更大。此外,多次查询同一数据会持续消耗预算,因此需要管理总体使用量。仅凭“应用了差分隐私”这句话还不够,还要看预算设定为多少,才能了解实际的保护水平。

示例

智能手机制造商或浏览器公司在收集用户常用的表情符号、新流行词等统计数据时,会采用在设备上预先混入噪声再发送的方式来使用差分隐私。公司能掌握整体趋势,却无法得知单个用户的输入。公开人口统计数据的政府机构,以及用敏感数据训练AI模型的企业,也在运用同样的原理。

相关术语