DP-SGDにおける好ましいプライバシーと有用性の保証に関する根本的限界

要旨

差分プライバシー確率的勾配降下法（DP-SGD）は、プライベートな学習における主要なパラダイムであるが、最悪ケースの敵対的プライバシー定義におけるその根本的な限界は十分に理解されていない。本研究では、仮説検定のトレードオフ曲線によってプライバシーを特徴づけるf-差分プライバシーフレームワークにおいてDP-SGDを分析し、M回の勾配更新による1エポックのシャッフルサンプリングを検討する。我々は、達成可能なトレードオフ曲線に対する明示的な最適でない上界を導出する。この結果は、分離度κ（機構のトレードオフ曲線と理想的な無作為推測線との間の最大距離）に対する幾何学的な下界を誘導する。大きな分離度は敵対者にとって有意な優位性を意味するため、意味のあるプライバシーを保つにはκを小さくする必要がある。しかしながら、小さな分離度を強制することは、ガウシアンノイズ乗数σに対して厳格な下界を課し、達成可能な有用性を直接制限することを証明する。具体的には、標準的な最悪ケースの敵対的モデルの下では、シャッフルDP-SGDは σ ≥ 1/√(2ln M) または κ ≥ 1/8 * (1 - 1/(4πln M)) を満たさなければならず、したがって強力なプライバシーと高い有用性を同時に達成することはできない。この下界はM→∞で漸近的に消失するが、その収束は極めて遅く、実用的な更新回数においても必要なノイズ量は依然として相当なものとなる。さらに、同じ限界が定数因子の範囲内でポアソン部分サンプリングにも拡張されることを示す。実験により、この下界によって示唆されるノイズレベルが現実的な学習設定において精度の著しい低下を招くことを確認し、標準的な最悪ケースの敵対的仮定の下でのDP-SGDにおける重大なボトルネックを示す。

English

Differentially Private Stochastic Gradient Descent (DP-SGD) is the dominant paradigm for private training, but its fundamental limitations under worst-case adversarial privacy definitions remain poorly understood. We analyze DP-SGD in the f-differential privacy framework, which characterizes privacy via hypothesis-testing trade-off curves, and study shuffled sampling over a single epoch with M gradient updates. We derive an explicit suboptimal upper bound on the achievable trade-off curve. This result induces a geometric lower bound on the separation κ which is the maximum distance between the mechanism's trade-off curve and the ideal random-guessing line. Because a large separation implies significant adversarial advantage, meaningful privacy requires small κ. However, we prove that enforcing a small separation imposes a strict lower bound on the Gaussian noise multiplier σ, which directly limits the achievable utility. In particular, under the standard worst-case adversarial model, shuffled DP-SGD must satisfy σge 1{2ln M} quadorquad κge 1{8}!left(1-1{4πln M}right), and thus cannot simultaneously achieve strong privacy and high utility. Although this bound vanishes asymptotically as M to infty, the convergence is extremely slow: even for practically relevant numbers of updates the required noise magnitude remains substantial. We further show that the same limitation extends to Poisson subsampling up to constant factors. Our experiments confirm that the noise levels implied by this bound leads to significant accuracy degradation at realistic training settings, thus showing a critical bottleneck in DP-SGD under standard worst-case adversarial assumptions.

DP-SGDにおける好ましいプライバシーと有用性の保証に関する根本的限界

Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD

要旨

Support