Grundlegende Grenzen günstiger Datenschutz-Nutzen-Garantien für DP-SGD
Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD
January 15, 2026
papers.authors: Murat Bilgehan Ertan, Marten van Dijk
cs.AI
papers.abstract
Differentially Private Stochastic Gradient Descent (DP-SGD) ist das dominierende Paradigma für privates Training, doch seine grundlegenden Limitierungen unter worst-case Adversary-Privacy-Definitionen sind nach wie vor kaum verstanden. Wir analysieren DP-SGD im Rahmen der f-Differential Privacy, die Privatsphäre über Hypothesentest-Trade-off-Kurven charakterisiert, und betrachten dabei geshuffeltes Sampling über eine einzelne Epoche mit M Gradientenupdates. Wir leiten eine explizite suboptimale obere Schranke für die erreichbare Trade-off-Kurve her. Dieses Ergebnis induziert eine geometrische untere Schranke für die Separation κ, die den maximalen Abstand zwischen der Trade-off-Kurve des Mechanismus und der idealen Raten-Geraden (random-guessing line) beschreibt. Da eine große Separation einen signifikanten Vorteil für einen Angreifer impliziert, erfordert eine sinnvolle Privatsphäre ein kleines κ. Wir beweisen jedoch, dass die Erzwingung einer kleinen Separation eine strikte untere Schranke für den Gauß'schen Rauschmultiplikator σ auferlegt, was die erreichbare Nutzbarkeit direkt begrenzt. Insbesondere muss unter dem standardmäßigen worst-case Adversary-Modell das geshuffelte DP-SGD die Bedingung
σ ≥ 1/√(2 ln M) oder κ ≥ 1/8 * (1 - 1/(4π ln M))
erfüllen und kann somit nicht gleichzeitig starke Privatsphäre und hohe Nutzbarkeit erreichen. Obwohl diese Schranke asymptotisch für M → ∞ verschwindet, ist die Konvergenz extrem langsam: selbst für praktisch relevante Anzahlen von Updates bleibt das erforderliche Rauschniveau beträchtlich. Wir zeigen des Weiteren, dass sich dieselbe Limitierung bis auf konstante Faktoren auch auf Poisson-Subsampling erstreckt. Unsere Experimente bestätigen, dass die durch diese Schranke implizierten Rauschpegel in realistischen Trainingsszenarien zu einer signifikanten Genauigkeitsverschlechterung führen, was somit einen kritischen Engpass in DP-SGD unter standardmäßigen worst-case Adversary-Annahmen aufzeigt.
English
Differentially Private Stochastic Gradient Descent (DP-SGD) is the dominant paradigm for private training, but its fundamental limitations under worst-case adversarial privacy definitions remain poorly understood. We analyze DP-SGD in the f-differential privacy framework, which characterizes privacy via hypothesis-testing trade-off curves, and study shuffled sampling over a single epoch with M gradient updates. We derive an explicit suboptimal upper bound on the achievable trade-off curve. This result induces a geometric lower bound on the separation κ which is the maximum distance between the mechanism's trade-off curve and the ideal random-guessing line. Because a large separation implies significant adversarial advantage, meaningful privacy requires small κ. However, we prove that enforcing a small separation imposes a strict lower bound on the Gaussian noise multiplier σ, which directly limits the achievable utility. In particular, under the standard worst-case adversarial model, shuffled DP-SGD must satisfy
σge 1{2ln M} quadorquad κge 1{8}!left(1-1{4πln M}right),
and thus cannot simultaneously achieve strong privacy and high utility. Although this bound vanishes asymptotically as M to infty, the convergence is extremely slow: even for practically relevant numbers of updates the required noise magnitude remains substantial. We further show that the same limitation extends to Poisson subsampling up to constant factors. Our experiments confirm that the noise levels implied by this bound leads to significant accuracy degradation at realistic training settings, thus showing a critical bottleneck in DP-SGD under standard worst-case adversarial assumptions.