Grote taalmodellen benutten om privé synthetische tekst te genereren

Harnessing large-language models to generate private synthetic text

June 2, 2023

Auteurs: Alexey Kurakin, Natalia Ponomareva, Umar Syed, Liam MacDermed, Andreas Terzis

cs.AI

Samenvatting

Differentieel private (DP) trainingsmethoden zoals DP-SGD kunnen gevoelige trainingsdata beschermen door ervoor te zorgen dat ML-modellen geen privé-informatie onthullen. Een alternatieve aanpak, die dit artikel onderzoekt, is het gebruik van een gevoelige dataset om een nieuwe synthetische dataset te genereren die differentieel privé is ten opzichte van de oorspronkelijke data. Dit heeft verschillende voordelen: synthetische data kan worden hergebruikt voor andere taken (inclusief hyperparameterafstemming), onbeperkt worden bewaard, of gedeeld worden met derden zonder in te leveren op privacy. Het verkrijgen van DP-data is echter veel moeilijker dan het introduceren van DP tijdens de training. Om dit haalbaar te maken voor tekst, heeft recent werk gebruikgemaakt van publieke data door te starten met een vooraf getraind generatief taalmodel en dit privé te finetunen op gevoelige data. Dit model kan worden gebruikt om een DP synthetische dataset te genereren. Hoewel deze strategie eenvoudig lijkt, is de uitvoering ervan problematisch gebleken. Eerdere benaderingen tonen ofwel een significant prestatieverlies, of hebben, zoals wij aantonen, kritieke ontwerpfouten. In dit artikel tonen we aan dat een juiste trainingsdoelstelling, samen met het afstemmen van minder parameters, resulteert in uitstekende kwaliteit van DP synthetische data. Onze aanpak is competitief met directe DP-training van downstreamclassificatoren wat betreft prestaties op downstreamtaken. We demonstreren ook dat onze DP synthetische data niet alleen nuttig is voor het trainen van downstreamclassificatoren, maar ook voor het afstemmen van diezelfde modellen.

English

Differentially private (DP) training methods like DP-SGD can protect sensitive training data by ensuring that ML models will not reveal private information. An alternative approach, which this paper studies, is to use a sensitive dataset to generate a new synthetic dataset which is differentially private with respect to the original data. Doing so has several advantages: synthetic data can be reused for other tasks (including for hyper parameter tuning), retained indefinitely, or shared with third parties without sacrificing privacy. However, obtaining DP data is much harder than introducing DP during training. To make it feasible for text, recent work has utilized public data by starting with a pre-trained generative language model and privately finetuning it on sensitive data. This model can be used to sample a DP synthetic dataset. While this strategy seems straightforward, executing it has proven problematic. Previous approaches either show significant performance loss, or have, as we show, critical design flaws. In this paper we demonstrate that a proper training objective along with tuning fewer parameters results in excellent DP synthetic data quality. Our approach is competitive with direct DP-training of downstream classifiers in terms of performance on downstream tasks. We also demonstrate that our DP synthetic data is not only useful for downstream classifier training, but also to tune those same models.