DP-SGD
将差分隐私与随机梯度下降结合的机器学习训练算法，通过裁剪梯度并添加高斯噪声来保护训练数据隐私，是训练隐私敏感模型的事实标准方法
核心事实
时间轴 (近 90 天)
多尺度FFT算法与DP-SGD结合PREAMBLE机制时，能够给出改进的隐私边界。
DP-SGD的隐私放大效应依赖于批次大小不被泄露这一前提假设。
虚拟点机制解决的是批次大小泄露与截断带来的隐私损失问题，不改变DP-SGD本身的噪声校准逻辑。
虚拟点参与前向和反向计算，但其梯度贡献会被丢弃或抵消，因此不影响模型更新。
一篇最新研究提出通过向批次中注入随机数量的虚拟点来掩盖真实批次大小，从而在批次大小可观测且存在截断限制的条件下保持隐私放大。
DP-SGD 通过在梯度中加入高斯噪声来保护隐私，隐私会计工具（如 Rényi DP 或 zCDP）能精确计算累计隐私损失。
伴随方法的内存开销与迭代步数成线性关系而非平方关系，更适合成千上万次迭代的 DP-SGD 场景。
DP-μP 覆盖的优化器包括 DP-SGD、DP-Adam 和 DP-Muon。
在合成肿瘤学基准测试中，主动学习+DP-SGD在ε=3时的AUROC，匹配了随机采样+DP-SGD在ε=8时的表现。
DP-SGD是在随机梯度下降中实现差分隐私的机制，通过对逐样本梯度裁剪后再加高斯噪声实现。
还有 2 条时间轴事件
全部知识事实 (12)
DP-SGD是在随机梯度下降中实现差分隐私的机制，通过对逐样本梯度裁剪后再加高斯噪声实现。
75%待验证多尺度FFT算法与DP-SGD结合PREAMBLE机制时，能够给出改进的隐私边界。
50%待验证一篇最新研究提出通过向批次中注入随机数量的虚拟点来掩盖真实批次大小，从而在批次大小可观测且存在截断限制的条件下保持隐私放大。
50%待验证DP-SGD的隐私放大效应依赖于批次大小不被泄露这一前提假设。
50%待验证虚拟点机制解决的是批次大小泄露与截断带来的隐私损失问题，不改变DP-SGD本身的噪声校准逻辑。
50%待验证虚拟点参与前向和反向计算，但其梯度贡献会被丢弃或抵消，因此不影响模型更新。
50%待验证DP-SGD 通过在梯度中加入高斯噪声来保护隐私，隐私会计工具（如 Rényi DP 或 zCDP）能精确计算累计隐私损失。
50%待验证伴随方法的内存开销与迭代步数成线性关系而非平方关系，更适合成千上万次迭代的 DP-SGD 场景。
50%待验证DP-μP 覆盖的优化器包括 DP-SGD、DP-Adam 和 DP-Muon。
50%待验证在合成肿瘤学基准测试中，主动学习+DP-SGD在ε=3时的AUROC，匹配了随机采样+DP-SGD在ε=8时的表现。
50%待验证差分隐私随机梯度下降（DP-SGD）已成为训练隐私敏感模型的事实标准
50%待验证训练过程泄露的信息通过条件互信息（CMI）度量，对DP-SGD而言该泄露界限只依赖于采样率和噪声乘子两个超参数
50%