Limitazioni Fondamentali delle Garanzie Privacy-Utilità Favorevoli per DP-SGD
Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD
January 15, 2026
Autori: Murat Bilgehan Ertan, Marten van Dijk
cs.AI
Abstract
Lo Stochastic Gradient Descent con Privacy Differenziale (DP-SGD) è il paradigma dominante per l'addestramento privato, ma i suoi limiti fondamentali nell'ambito delle definizioni di privacy avversaria nel caso peggiore rimangono scarsamente compresi. Analizziamo il DP-SGD nel framework della privacy differenziale f, che caratterizza la privacy attraverso le curve di trade-off di test di ipotesi, e studiamo il campionamento shufflato su un singolo epoca con M aggiornamenti del gradiente. Deriviamo un limite superiore esplicito e subottimale sulla curva di trade-off ottenibile. Questo risultato induce un limite inferiore geometrico sulla separazione κ, che è la distanza massima tra la curva di trade-off del meccanismo e la linea ideale di indovinamento casuale. Poiché una grande separazione implica un significativo vantaggio per l'avversario, una privacy significativa richiede un κ piccolo. Tuttavia, dimostriamo che l'imposizione di una piccola separazione comporta un rigoroso limite inferiore sul moltiplicatore di rumore gaussiano σ, che limita direttamente l'utilità ottenibile. In particolare, sotto il modello avversario standard del caso peggiore, lo shuffled DP-SGD deve soddisfare
σ ≥ 1/√(2 ln M) oppure κ ≥ 1/8 * (1 - 1/(4π ln M)),
e quindi non può raggiungere simultaneamente una privacy forte e un'alta utilità. Sebbene questo limite svanisca asintoticamente per M → ∞, la convergenza è estremamente lenta: anche per numeri di aggiornamenti di interesse pratico, l'ampiezza di rumore richiesta rimane sostanziale. Mostriamo inoltre che la stessa limitazione si estende al sottocampionamento di Poisson a meno di fattori costanti. I nostri esperimenti confermano che i livelli di rumore implicati da questo limite portano a un significativo degrado dell'accuratezza in impostazioni di addestramento realistiche, mostrando così un collo di bottiglia critico nel DP-SGD sotto le standard ipotesi avversarie del caso peggiore.
English
Differentially Private Stochastic Gradient Descent (DP-SGD) is the dominant paradigm for private training, but its fundamental limitations under worst-case adversarial privacy definitions remain poorly understood. We analyze DP-SGD in the f-differential privacy framework, which characterizes privacy via hypothesis-testing trade-off curves, and study shuffled sampling over a single epoch with M gradient updates. We derive an explicit suboptimal upper bound on the achievable trade-off curve. This result induces a geometric lower bound on the separation κ which is the maximum distance between the mechanism's trade-off curve and the ideal random-guessing line. Because a large separation implies significant adversarial advantage, meaningful privacy requires small κ. However, we prove that enforcing a small separation imposes a strict lower bound on the Gaussian noise multiplier σ, which directly limits the achievable utility. In particular, under the standard worst-case adversarial model, shuffled DP-SGD must satisfy
σge 1{2ln M} quadorquad κge 1{8}!left(1-1{4πln M}right),
and thus cannot simultaneously achieve strong privacy and high utility. Although this bound vanishes asymptotically as M to infty, the convergence is extremely slow: even for practically relevant numbers of updates the required noise magnitude remains substantial. We further show that the same limitation extends to Poisson subsampling up to constant factors. Our experiments confirm that the noise levels implied by this bound leads to significant accuracy degradation at realistic training settings, thus showing a critical bottleneck in DP-SGD under standard worst-case adversarial assumptions.