Limitations fondamentales des garanties de confidentialité-utilité favorables pour DP-SGD
Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD
January 15, 2026
papers.authors: Murat Bilgehan Ertan, Marten van Dijk
cs.AI
papers.abstract
La descente de gradient stochastique à confidentialité différentielle (DP-SGD) est le paradigme dominant pour l'apprentissage privé, mais ses limitations fondamentales sous des définitions de confidentialité adversariales dans le pire des cas restent mal comprises. Nous analysons DP-SGD dans le cadre de la confidentialité différentielle en f, qui caractérise la confidentialité via des courbes de compromis test d'hypothèse, et nous étudions l'échantillonnage mélangé sur une seule époque avec M mises à jour du gradient. Nous dérivons une borne supérieure sous-optimale explicite sur la courbe de compromis réalisable. Ce résultat induit une borne inférieure géométrique sur la séparation κ, qui est la distance maximale entre la courbe de compromis du mécanisme et la ligne idéale de devinette aléatoire. Parce qu'une grande séparation implique un avantage adversarial significatif, une confidentialité significative nécessite un κ petit. Cependant, nous prouvons que l'imposition d'une petite séparation impose une borne inférieure stricte sur le multiplicateur de bruit gaussien σ, ce qui limite directement l'utilité réalisable. En particulier, sous le modèle adversarial standard dans le pire des cas, DP-SGD mélangé doit satisfaire
σ ≥ 1/√(2 ln M) ou bien κ ≥ 1/8 (1 - 1/(4π ln M)),
et ne peut donc pas atteindre simultanément une forte confidentialité et une haute utilité. Bien que cette borne disparaisse asymptotiquement lorsque M → ∞, la convergence est extrêmement lente : même pour des nombres de mises à jour pratiquement pertinents, l'amplitude de bruit requise reste substantielle. Nous montrons en outre que la même limitation s'étend à la sous-échantillonnage de Poisson à des facteurs constants près. Nos expériences confirment que les niveaux de bruit impliqués par cette borne entraînent une dégradation significative de la précision dans des paramètres d'entraînement réalistes, montrant ainsi un goulot d'étranglement critique dans DP-SGD sous les hypothèses adversariales standard dans le pire des cas.
English
Differentially Private Stochastic Gradient Descent (DP-SGD) is the dominant paradigm for private training, but its fundamental limitations under worst-case adversarial privacy definitions remain poorly understood. We analyze DP-SGD in the f-differential privacy framework, which characterizes privacy via hypothesis-testing trade-off curves, and study shuffled sampling over a single epoch with M gradient updates. We derive an explicit suboptimal upper bound on the achievable trade-off curve. This result induces a geometric lower bound on the separation κ which is the maximum distance between the mechanism's trade-off curve and the ideal random-guessing line. Because a large separation implies significant adversarial advantage, meaningful privacy requires small κ. However, we prove that enforcing a small separation imposes a strict lower bound on the Gaussian noise multiplier σ, which directly limits the achievable utility. In particular, under the standard worst-case adversarial model, shuffled DP-SGD must satisfy
σge 1{2ln M} quadorquad κge 1{8}!left(1-1{4πln M}right),
and thus cannot simultaneously achieve strong privacy and high utility. Although this bound vanishes asymptotically as M to infty, the convergence is extremely slow: even for practically relevant numbers of updates the required noise magnitude remains substantial. We further show that the same limitation extends to Poisson subsampling up to constant factors. Our experiments confirm that the noise levels implied by this bound leads to significant accuracy degradation at realistic training settings, thus showing a critical bottleneck in DP-SGD under standard worst-case adversarial assumptions.