DP-SGD의 유리한 프라이버시-유틸리티 보장에 대한 근본적 한계

초록

차등 프라이버시 확률적 경사하강법(DP-SGD)은 프라이버시 보호 학습의 주요 패러다임이지만, 최악의 경우 적대적 프라이버시 정의 하에서의 근본적 한계는 여전히 명확히 규명되지 않았습니다. 본 연구는 가설 검정 트레이드오프 곡선을 통해 프라이버시를 규정하는 f-차등 프라이버시 프레임워크에서 DP-SGD를 분석하고, M번의 그래디언트 업데이트로 단일 에포크 내에서 수행되는 셔플링 샘플링을 검토합니다. 우리는 달성 가능한 트레이드오프 곡선에 대한 명시적인 차선 최적 상한을 도출합니다. 이 결과는 메커니즘의 트레이드오프 곡선과 이상적인 무작위 추측 선 사이의 최대 거리인 분리도(separation) κ에 대한 기하학적 하한을 유도합니다. 큰 분리도는 상당한 적대적 이점을 의미하므로, 의미 있는 프라이버시 보호는 작은 κ를 필요로 합니다. 그러나 우리는 작은 분리도를 강제하는 것이 가우시안 노이즈 승수 σ에 엄격한 하한을 부과하며, 이는 직접적으로 달성 가능한 유틸리티를 제한함을 증명합니다. 특히, 표준 최악의 경우 적대적 모델 하에서 셔플링된 DP-SGD는 반드시 다음을 만족해야 합니다: σ ≥ 1/√(2ln M) 또는 κ ≥ 1/8 * (1 - 1/(4πln M)), 따라서 강력한 프라이버시와 높은 유틸리티를 동시에 달성할 수 없습니다. 이 하한이 M → ∞일 때 점근적으로 소멸하더라도, 그 수렴 속도는 극히 느립니다: 실용적으로 관련된 수준의 업데이트 횟수에서도 요구되는 노이즈 크기는 상당하게 유지됩니다. 우리는 더 나아가 동일한 한계가 상수 계수 내에서 포아송 부샘플링으로도 확장됨을 보입니다. 우리의 실험은 이 하한이 시사하는 노이즈 수준이 현실적인 학습 환경에서 심각한 정확도 저하를 초래함을 확인하며, 이는 표준 최악의 경우 적대적 가정 하에서 DP-SGD가 가진 중요한 병목 현상을 보여줍니다.

English

Differentially Private Stochastic Gradient Descent (DP-SGD) is the dominant paradigm for private training, but its fundamental limitations under worst-case adversarial privacy definitions remain poorly understood. We analyze DP-SGD in the f-differential privacy framework, which characterizes privacy via hypothesis-testing trade-off curves, and study shuffled sampling over a single epoch with M gradient updates. We derive an explicit suboptimal upper bound on the achievable trade-off curve. This result induces a geometric lower bound on the separation κ which is the maximum distance between the mechanism's trade-off curve and the ideal random-guessing line. Because a large separation implies significant adversarial advantage, meaningful privacy requires small κ. However, we prove that enforcing a small separation imposes a strict lower bound on the Gaussian noise multiplier σ, which directly limits the achievable utility. In particular, under the standard worst-case adversarial model, shuffled DP-SGD must satisfy σge 1{2ln M} quadorquad κge 1{8}!left(1-1{4πln M}right), and thus cannot simultaneously achieve strong privacy and high utility. Although this bound vanishes asymptotically as M to infty, the convergence is extremely slow: even for practically relevant numbers of updates the required noise magnitude remains substantial. We further show that the same limitation extends to Poisson subsampling up to constant factors. Our experiments confirm that the noise levels implied by this bound leads to significant accuracy degradation at realistic training settings, thus showing a critical bottleneck in DP-SGD under standard worst-case adversarial assumptions.

DP-SGD의 유리한 프라이버시-유틸리티 보장에 대한 근본적 한계

Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD

초록

Support