Die Nutzung großer Sprachmodelle zur Erzeugung privater synthetischer Texte

Harnessing large-language models to generate private synthetic text

June 2, 2023

Autoren: Alexey Kurakin, Natalia Ponomareva, Umar Syed, Liam MacDermed, Andreas Terzis

cs.AI

Zusammenfassung

Differenziell private (DP) Trainingsmethoden wie DP-SGD können sensible Trainingsdaten schützen, indem sie sicherstellen, dass ML-Modelle keine privaten Informationen preisgeben. Ein alternativer Ansatz, den diese Arbeit untersucht, besteht darin, einen sensiblen Datensatz zu verwenden, um einen neuen synthetischen Datensatz zu generieren, der in Bezug auf die Originaldaten differenziell privat ist. Dies hat mehrere Vorteile: Synthetische Daten können für andere Aufgaben wiederverwendet werden (einschließlich der Hyperparameteroptimierung), unbegrenzt aufbewahrt oder an Dritte weitergegeben werden, ohne die Privatsphäre zu gefährden. Die Beschaffung von DP-Daten ist jedoch wesentlich schwieriger als die Einführung von DP während des Trainings. Um dies für Textdaten praktikabel zu machen, hat aktuelle Forschung öffentlich verfügbare Daten genutzt, indem sie mit einem vortrainierten generativen Sprachmodell begann und dieses privat auf sensiblen Daten feinabgestimmt hat. Dieses Modell kann verwendet werden, um einen DP-synthetischen Datensatz zu erzeugen. Obwohl diese Strategie einfach erscheint, hat sich ihre Umsetzung als problematisch erwiesen. Bisherige Ansätze zeigen entweder erhebliche Leistungseinbußen oder weisen, wie wir zeigen, kritische Designfehler auf. In dieser Arbeit demonstrieren wir, dass ein geeignetes Trainingsziel zusammen mit der Feinabstimmung weniger Parameter zu einer hervorragenden Qualität von DP-synthetischen Daten führt. Unser Ansatz ist in Bezug auf die Leistung bei nachgelagerten Aufgaben wettbewerbsfähig mit dem direkten DP-Training von Downstream-Klassifikatoren. Wir zeigen außerdem, dass unsere DP-synthetischen Daten nicht nur für das Training von Downstream-Klassifikatoren nützlich sind, sondern auch zur Optimierung dieser Modelle verwendet werden können.

English

Differentially private (DP) training methods like DP-SGD can protect sensitive training data by ensuring that ML models will not reveal private information. An alternative approach, which this paper studies, is to use a sensitive dataset to generate a new synthetic dataset which is differentially private with respect to the original data. Doing so has several advantages: synthetic data can be reused for other tasks (including for hyper parameter tuning), retained indefinitely, or shared with third parties without sacrificing privacy. However, obtaining DP data is much harder than introducing DP during training. To make it feasible for text, recent work has utilized public data by starting with a pre-trained generative language model and privately finetuning it on sensitive data. This model can be used to sample a DP synthetic dataset. While this strategy seems straightforward, executing it has proven problematic. Previous approaches either show significant performance loss, or have, as we show, critical design flaws. In this paper we demonstrate that a proper training objective along with tuning fewer parameters results in excellent DP synthetic data quality. Our approach is competitive with direct DP-training of downstream classifiers in terms of performance on downstream tasks. We also demonstrate that our DP synthetic data is not only useful for downstream classifier training, but also to tune those same models.