差分隐私
由微软研究员Cynthia Dwork于2006年正式提出的隐私保护技术,通过在数据或查询结果中加入可控噪声,从数学上限制个体信息的泄露,已被Apple、Google等公司部署于生产系统
核心事实
时间轴 (近 90 天)
在差分隐私随机分配采样中,每个用户的数据会被随机且均匀地从t个步骤中选取k个步骤使用。
PLD核算器通过计算隐私损失随机变量的完整分布来精确评估差分隐私保证,直接对隐私损失分布的似然比进行数值卷积,从而在相同隐私预算下给出更紧致的ε下界。
实践中常见的隐私缓解手段包括差分隐私、联邦学习、在受控环境内做聚合分析、以及将个体级数据留在本地仅上传统计量,这些机制会削弱细粒度观察的精度。
成员推理攻击的防御手段包括差分隐私训练、正则化和输出置信度截断等,但往往会牺牲一定的模型效用。
联邦学习通信开销大、工程复杂度高;差分隐私会牺牲一定的模型精度。
PFR(Propose-Filter-Release)框架通过隐私化过滤步骤,将原本只保护典型记录增删的机制升级为在任意输入下满足标准差分隐私的通用机制。
差分隐私的全局敏感度衡量任意相邻数据集上函数输出的最大差异,而局部敏感度针对特定数据集计算,通常远小于全局敏感度。
安全聚合可与差分隐私叠加使用,前者隐藏单个更新,后者限制聚合结果的隐私泄露。
差分隐私在保护隐私的同时会牺牲模型精度。
在差分隐私中,隐私预算ε越小,隐私保护越强,但引入的噪声越大,导致估计误差上升。
还有 19 条时间轴事件
全部知识事实 (20)
Apple凭借设备端隐私优势和iOS/macOS生态推进Apple Intelligence
90%已验证苹果、Google等公司已在设备端AI场景中大规模应用差分隐私
75%已验证联邦学习与本地推理等隐私保护技术允许模型在用户设备侧完成数据处理,避免原始个人数据上传至云端
75%已验证差分隐私技术由Cynthia Dwork于2006年正式提出
75%已验证隐私增强技术(PETs)包括同态加密、联邦学习、差分隐私和安全多方计算等,目标是在数据使用环节也保持隐私保护,但目前仍面临性能开销大、工程复杂度高的落地挑战。
65%已验证差分隐私通过向统计结果注入校准噪声,在数学上保证无法从聚合数据中推断出单个用户的行为
65%待验证差分隐私已被Apple、Google和美国人口普查局等机构采用
70%待验证差分隐私通过向训练数据或模型输出添加数学校准的随机噪声,使攻击者无法从输出反推出任何单个用户的数据
60%待验证PLD核算器通过计算隐私损失随机变量的完整分布来精确评估差分隐私保证,直接对隐私损失分布的似然比进行数值卷积,从而在相同隐私预算下给出更紧致的ε下界。
50%待验证在差分隐私随机分配采样中,每个用户的数据会被随机且均匀地从t个步骤中选取k个步骤使用。
50%待验证实践中常见的隐私缓解手段包括差分隐私、联邦学习、在受控环境内做聚合分析、以及将个体级数据留在本地仅上传统计量,这些机制会削弱细粒度观察的精度。
50%待验证成员推理攻击的防御手段包括差分隐私训练、正则化和输出置信度截断等,但往往会牺牲一定的模型效用。
50%待验证联邦学习通信开销大、工程复杂度高;差分隐私会牺牲一定的模型精度。
50%待验证PFR(Propose-Filter-Release)框架通过隐私化过滤步骤,将原本只保护典型记录增删的机制升级为在任意输入下满足标准差分隐私的通用机制。
50%待验证差分隐私的全局敏感度衡量任意相邻数据集上函数输出的最大差异,而局部敏感度针对特定数据集计算,通常远小于全局敏感度。
50%待验证差分隐私在保护隐私的同时会牺牲模型精度。
50%待验证安全聚合可与差分隐私叠加使用,前者隐藏单个更新,后者限制聚合结果的隐私泄露。
50%待验证在差分隐私中,隐私预算ε越小,隐私保护越强,但引入的噪声越大,导致估计误差上升。
50%待验证差分隐私要求对梯度进行逐样本裁剪并注入高维噪声,噪声的谱特性与低秩梯度截然不同,导致 μP 的学习率缩放规则不再适用。
50%待验证差分隐私通过在数据或梯度中加入可控噪声,从数学上保证单个患者记录无法被反推识别。
50%