Sfruttare i modelli linguistici di grandi dimensioni per generare testo sintetico privato

Harnessing large-language models to generate private synthetic text

June 2, 2023

Autori: Alexey Kurakin, Natalia Ponomareva, Umar Syed, Liam MacDermed, Andreas Terzis

cs.AI

Abstract

I metodi di addestramento con privacy differenziale (DP) come DP-SGD possono proteggere i dati sensibili di training garantendo che i modelli di ML non rivelino informazioni private. Un approccio alternativo, oggetto di studio di questo articolo, consiste nell'utilizzare un dataset sensibile per generare un nuovo dataset sintetico che sia differenzialmente privato rispetto ai dati originali. Questa soluzione presenta diversi vantaggi: i dati sintetici possono essere riutilizzati per altre attività (inclusa l'ottimizzazione degli iperparametri), conservati indefinitamente o condivisi con terze parti senza compromettere la privacy. Tuttavia, ottenere dati DP è molto più complesso che introdurre la DP durante l'addestramento. Per renderlo fattibile nel caso di dati testuali, lavori recenti hanno sfruttato dati pubblici partendo da un modello generativo di linguaggio pre-addestrato e affinandolo privatamente su dati sensibili. Questo modello può essere utilizzato per campionare un dataset sintetico DP. Sebbene questa strategia appaia semplice, la sua implementazione si è rivelata problematica. Approcci precedenti mostrano una significativa perdita di prestazioni o, come dimostriamo, presentano errori di progettazione critici. In questo articolo dimostriamo che un obiettivo di addestramento appropriato, unito alla regolazione di un numero ridotto di parametri, produce dati sintetici DP di eccellente qualità. Il nostro approccio è competitivo con l'addestramento DP diretto di classificatori downstream in termini di prestazioni sui task downstream. Dimostriamo inoltre che i nostri dati sintetici DP non sono solo utili per l'addestramento di classificatori downstream, ma anche per ottimizzare tali modelli.

English

Differentially private (DP) training methods like DP-SGD can protect sensitive training data by ensuring that ML models will not reveal private information. An alternative approach, which this paper studies, is to use a sensitive dataset to generate a new synthetic dataset which is differentially private with respect to the original data. Doing so has several advantages: synthetic data can be reused for other tasks (including for hyper parameter tuning), retained indefinitely, or shared with third parties without sacrificing privacy. However, obtaining DP data is much harder than introducing DP during training. To make it feasible for text, recent work has utilized public data by starting with a pre-trained generative language model and privately finetuning it on sensitive data. This model can be used to sample a DP synthetic dataset. While this strategy seems straightforward, executing it has proven problematic. Previous approaches either show significant performance loss, or have, as we show, critical design flaws. In this paper we demonstrate that a proper training objective along with tuning fewer parameters results in excellent DP synthetic data quality. Our approach is competitive with direct DP-training of downstream classifiers in terms of performance on downstream tasks. We also demonstrate that our DP synthetic data is not only useful for downstream classifier training, but also to tune those same models.