Fundamentele Beperkingen van Gunstige Privacy-Nuttigheidsgaranties voor DP-SGD

Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD

January 15, 2026

Auteurs: Murat Bilgehan Ertan, Marten van Dijk

cs.AI

Samenvatting

Differentieel Private Stochastische Gradiëntdaling (DP-SGD) is het dominante paradigma voor private training, maar de fundamentele beperkingen ervan onder worst-case adversariële privacydefinities zijn nog steeds slecht begrepen. Wij analyseren DP-SGD in het kader van f-differentiële privacy, dat privacy karakteriseert via hypothese-testen trade-off curves, en bestuderen geschud sampling over een enkele epoch met M gradientupdates. Wij leiden een expliciete suboptimale bovengrens af voor de bereikbare trade-off curve. Dit resultaat induceert een geometrische ondergrens voor de scheiding κ, wat de maximale afstand is tussen de trade-off curve van het mechanisme en de ideale willekeurige-raden lijn. Omdat een grote scheiding een significant adversarieel voordeel impliceert, vereist zinvolle privacy een kleine κ. Echter, wij bewijzen dat het afdwingen van een kleine scheiding een strikte ondergrens oplegt aan de Gaussische ruismultiplicator σ, wat direct de bereikbare bruikbaarheid beperkt. In het bijzonder, onder het standaard worst-case adversariële model, moet geschudde DP-SGD voldoen aan σ ≥ 1/√(2 ln M) of κ ≥ 1/8 (1 - 1/(4π ln M)), en kan dus niet tegelijkertijd sterke privacy en hoge bruikbaarheid bereiken. Hoewel deze bovengrens asymptotisch verdwijnt als M → ∞, is de convergentie extreem traag: zelfs voor praktisch relevante aantallen updates blijft de vereiste ruisomvang aanzienlijk. Wij tonen verder aan dat dezelfde beperking zich uitstrekt tot Poisson subsampling op constante factoren na. Onze experimenten bevestigen dat de ruisniveaus die door deze grens worden geïmpliceerd leiden tot een significante accuratiedegradatie bij realistische trainingsinstellingen, wat dus een kritieke bottleneck aantoont in DP-SGD onder standaard worst-case adversariële aannames.

English

Differentially Private Stochastic Gradient Descent (DP-SGD) is the dominant paradigm for private training, but its fundamental limitations under worst-case adversarial privacy definitions remain poorly understood. We analyze DP-SGD in the f-differential privacy framework, which characterizes privacy via hypothesis-testing trade-off curves, and study shuffled sampling over a single epoch with M gradient updates. We derive an explicit suboptimal upper bound on the achievable trade-off curve. This result induces a geometric lower bound on the separation κ which is the maximum distance between the mechanism's trade-off curve and the ideal random-guessing line. Because a large separation implies significant adversarial advantage, meaningful privacy requires small κ. However, we prove that enforcing a small separation imposes a strict lower bound on the Gaussian noise multiplier σ, which directly limits the achievable utility. In particular, under the standard worst-case adversarial model, shuffled DP-SGD must satisfy σge 1{2ln M} quadorquad κge 1{8}!left(1-1{4πln M}right), and thus cannot simultaneously achieve strong privacy and high utility. Although this bound vanishes asymptotically as M to infty, the convergence is extremely slow: even for practically relevant numbers of updates the required noise magnitude remains substantial. We further show that the same limitation extends to Poisson subsampling up to constant factors. Our experiments confirm that the noise levels implied by this bound leads to significant accuracy degradation at realistic training settings, thus showing a critical bottleneck in DP-SGD under standard worst-case adversarial assumptions.