Limitaciones Fundamentales de las Garantías Favorables de Privacidad y Utilidad para DP-SGD
Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD
January 15, 2026
Autores: Murat Bilgehan Ertan, Marten van Dijk
cs.AI
Resumen
El Descenso de Gradiente Estocástico con Privacidad Diferencial (DP-SGD) es el paradigma dominante para el entrenamiento privado, pero sus limitaciones fundamentales bajo las definiciones de privacidad adversaria del peor caso siguen sin comprenderse bien. Analizamos DP-SGD en el marco de la privacidad diferencial f, que caracteriza la privacidad mediante curvas de compensación de prueba de hipótesis, y estudiamos el muestreo barajado en una sola época con M actualizaciones de gradiente. Derivamos una cota superior subóptima explícita para la curva de compensación alcanzable. Este resultado induce una cota inferior geométrica para la separación κ, que es la distancia máxima entre la curva de compensación del mecanismo y la línea ideal de adivinación aleatoria. Dado que una gran separación implica una ventaja adversaria significativa, una privacidad significativa requiere un κ pequeño. Sin embargo, demostramos que imponer una separación pequeña conlleva una cota inferior estricta para el multiplicador de ruido gaussiano σ, lo que limita directamente la utilidad alcanzable. En particular, bajo el modelo adversario estándar del peor caso, el DP-SGD barajado debe satisfacer
σ ≥ 1/√(2 ln M) o κ ≥ 1/8 (1 - 1/(4π ln M)),
y por lo tanto no puede lograr simultáneamente una privacidad fuerte y una alta utilidad. Aunque esta cota se desvanece asintóticamente cuando M → ∞, la convergencia es extremadamente lenta: incluso para números de actualizaciones relevantes en la práctica, la magnitud de ruido requerida sigue siendo sustancial. Además, demostramos que la misma limitación se extiende al submuestreo de Poisson hasta factores constantes. Nuestros experimentos confirman que los niveles de ruido implicados por esta cota conducen a una degradación significativa de la precisión en configuraciones de entrenamiento realistas, mostrando así un cuello de botella crítico en DP-SGD bajo los supuestos adversarios estándar del peor caso.
English
Differentially Private Stochastic Gradient Descent (DP-SGD) is the dominant paradigm for private training, but its fundamental limitations under worst-case adversarial privacy definitions remain poorly understood. We analyze DP-SGD in the f-differential privacy framework, which characterizes privacy via hypothesis-testing trade-off curves, and study shuffled sampling over a single epoch with M gradient updates. We derive an explicit suboptimal upper bound on the achievable trade-off curve. This result induces a geometric lower bound on the separation κ which is the maximum distance between the mechanism's trade-off curve and the ideal random-guessing line. Because a large separation implies significant adversarial advantage, meaningful privacy requires small κ. However, we prove that enforcing a small separation imposes a strict lower bound on the Gaussian noise multiplier σ, which directly limits the achievable utility. In particular, under the standard worst-case adversarial model, shuffled DP-SGD must satisfy
σge 1{2ln M} quadorquad κge 1{8}!left(1-1{4πln M}right),
and thus cannot simultaneously achieve strong privacy and high utility. Although this bound vanishes asymptotically as M to infty, the convergence is extremely slow: even for practically relevant numbers of updates the required noise magnitude remains substantial. We further show that the same limitation extends to Poisson subsampling up to constant factors. Our experiments confirm that the noise levels implied by this bound leads to significant accuracy degradation at realistic training settings, thus showing a critical bottleneck in DP-SGD under standard worst-case adversarial assumptions.