Limitações Fundamentais das Garantias Favoráveis entre Privacidade e Utilidade para DP-SGD

Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD

January 15, 2026

Autores: Murat Bilgehan Ertan, Marten van Dijk

cs.AI

Resumo

O Gradiente Descendente Estocástico com Privacidade Diferencial (DP-SGD) é o paradigma dominante para treinamento privado, mas as suas limitações fundamentais sob definições de privacidade adversariais de pior caso permanecem pouco compreendidas. Analisamos o DP-SGD no framework de privacidade diferencial-f, que caracteriza a privacidade por meio de curvas de compensação (trade-off) de teste de hipóteses, e estudamos a amostragem embaralhada (shuffled sampling) ao longo de uma única época com M atualizações de gradiente. Derivamos um limite superior subótimo explícito para a curva de compensação alcançável. Este resultado induz um limite geométrico inferior na separação κ, que é a distância máxima entre a curva de compensação do mecanismo e a linha ideal de adivinhação aleatória. Como uma grande separação implica uma vantagem adversarial significativa, uma privacidade significativa requer um κ pequeno. No entanto, provamos que a imposição de uma pequena separação impõe um limite inferior estrito no multiplicador de ruído Gaussiano σ, o que limita diretamente a utilidade alcançável. Em particular, sob o modelo adversarial padrão de pior caso, o DP-SGD com embaralhamento deve satisfazer σ ≥ 1/√(2ln M) ou κ ≥ 1/8 * (1 - 1/(4πln M)), e, portanto, não pode alcançar simultaneamente privacidade forte e alta utilidade. Embora este limite desapareça assintoticamente quando M → ∞, a convergência é extremamente lenta: mesmo para números de atualizações relevantes na prática, a magnitude de ruído necessária permanece substancial. Mostramos ainda que a mesma limitação se estende à subamostragem de Poisson até fatores constantes. Nossos experimentos confirmam que os níveis de ruído implicados por este limite levam a uma degradação significativa da precisão em configurações de treinamento realistas, mostrando assim um gargalo crítico no DP-SGD sob as premissas adversariais padrão de pior caso.

English

Differentially Private Stochastic Gradient Descent (DP-SGD) is the dominant paradigm for private training, but its fundamental limitations under worst-case adversarial privacy definitions remain poorly understood. We analyze DP-SGD in the f-differential privacy framework, which characterizes privacy via hypothesis-testing trade-off curves, and study shuffled sampling over a single epoch with M gradient updates. We derive an explicit suboptimal upper bound on the achievable trade-off curve. This result induces a geometric lower bound on the separation κ which is the maximum distance between the mechanism's trade-off curve and the ideal random-guessing line. Because a large separation implies significant adversarial advantage, meaningful privacy requires small κ. However, we prove that enforcing a small separation imposes a strict lower bound on the Gaussian noise multiplier σ, which directly limits the achievable utility. In particular, under the standard worst-case adversarial model, shuffled DP-SGD must satisfy σge 1{2ln M} quadorquad κge 1{8}!left(1-1{4πln M}right), and thus cannot simultaneously achieve strong privacy and high utility. Although this bound vanishes asymptotically as M to infty, the convergence is extremely slow: even for practically relevant numbers of updates the required noise magnitude remains substantial. We further show that the same limitation extends to Poisson subsampling up to constant factors. Our experiments confirm that the noise levels implied by this bound leads to significant accuracy degradation at realistic training settings, thus showing a critical bottleneck in DP-SGD under standard worst-case adversarial assumptions.