Фундаментальные ограничения благоприятных гарантий приватности и полезности для DP-SGD

Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD

January 15, 2026

Авторы: Murat Bilgehan Ertan, Marten van Dijk

cs.AI

Аннотация

Дифференциально-приватный стохастический градиентный спуск (DP-SGD) является доминирующей парадигмой для приватного обучения, однако его фундаментальные ограничения в рамках наихудших адверсарных определений приватности остаются слабо изученными. Мы анализируем DP-SGD в рамках f-дифференциальной приватности, которая характеризует приватность с помощью кривых компромисса между ошибками проверки гипотез, и исследуем перемешанную выборку за одну эпоху с M обновлениями градиента. Мы выводим явную субоптимальную верхнюю границу для достижимой кривой компромисса. Этот результат влечет геометрическую нижнюю границу для разделения κ, которое представляет собой максимальное расстояние между кривой компромисса механизма и идеальной линией случайного угадывания. Поскольку большое разделение подразумевает значительное адверсарное преимущество, содержательная приватность требует малого κ. Однако мы доказываем, что обеспечение малого разделения накладывает строгую нижнюю границу на множитель гауссовского шума σ, что напрямую ограничивает достижимую полезность. В частности, в рамках стандартной наихудшей адверсарной модели перемешанный DP-SGD должен удовлетворять условию σ ≥ 1/√(2 ln M) или κ ≥ 1/8 * (1 - 1/(4π ln M)), и, следовательно, не может одновременно достичь высокой приватности и высокой полезности. Хотя эта граница асимптотически стремится к нулю при M → ∞, сходимость является крайне медленной: даже для практически релевантного числа обновлений требуемая величина шума остается существенной. Мы также показываем, что то же ограничение распространяется на пуассоновское подвыборку с точностью до постоянных множителей. Наши эксперименты подтверждают, что уровни шума, подразумеваемые этой границей, приводят к значительной деградации точности в реалистичных настройках обучения, что демонстрирует критическое узкое место в DP-SDG при стандартных наихудших адверсарных предположениях.

English

Differentially Private Stochastic Gradient Descent (DP-SGD) is the dominant paradigm for private training, but its fundamental limitations under worst-case adversarial privacy definitions remain poorly understood. We analyze DP-SGD in the f-differential privacy framework, which characterizes privacy via hypothesis-testing trade-off curves, and study shuffled sampling over a single epoch with M gradient updates. We derive an explicit suboptimal upper bound on the achievable trade-off curve. This result induces a geometric lower bound on the separation κ which is the maximum distance between the mechanism's trade-off curve and the ideal random-guessing line. Because a large separation implies significant adversarial advantage, meaningful privacy requires small κ. However, we prove that enforcing a small separation imposes a strict lower bound on the Gaussian noise multiplier σ, which directly limits the achievable utility. In particular, under the standard worst-case adversarial model, shuffled DP-SGD must satisfy σge 1{2ln M} quadorquad κge 1{8}!left(1-1{4πln M}right), and thus cannot simultaneously achieve strong privacy and high utility. Although this bound vanishes asymptotically as M to infty, the convergence is extremely slow: even for practically relevant numbers of updates the required noise magnitude remains substantial. We further show that the same limitation extends to Poisson subsampling up to constant factors. Our experiments confirm that the noise levels implied by this bound leads to significant accuracy degradation at realistic training settings, thus showing a critical bottleneck in DP-SGD under standard worst-case adversarial assumptions.