Exploiter les modèles de langage à grande échelle pour générer du texte synthétique privé

Harnessing large-language models to generate private synthetic text

June 2, 2023

Auteurs: Alexey Kurakin, Natalia Ponomareva, Umar Syed, Liam MacDermed, Andreas Terzis

cs.AI

Résumé

Les méthodes d'entraînement à confidentialité différentielle (DP) comme DP-SGD peuvent protéger les données d'entraînement sensibles en garantissant que les modèles de ML ne révéleront pas d'informations privées. Une approche alternative, que cet article étudie, consiste à utiliser un ensemble de données sensibles pour générer un nouvel ensemble de données synthétiques qui est à confidentialité différentielle par rapport aux données originales. Cela présente plusieurs avantages : les données synthétiques peuvent être réutilisées pour d'autres tâches (y compris pour le réglage des hyperparamètres), conservées indéfiniment ou partagées avec des tiers sans compromettre la confidentialité. Cependant, obtenir des données DP est beaucoup plus difficile que d'introduire la DP pendant l'entraînement. Pour le rendre réalisable pour le texte, des travaux récents ont utilisé des données publiques en commençant avec un modèle de langage génératif pré-entraîné et en l'affinant de manière privée sur des données sensibles. Ce modèle peut être utilisé pour échantillonner un ensemble de données synthétiques DP. Bien que cette stratégie semble simple, sa mise en œuvre s'est avérée problématique. Les approches précédentes montrent soit une perte de performance significative, soit, comme nous le montrons, des défauts de conception critiques. Dans cet article, nous démontrons qu'un objectif d'entraînement approprié ainsi que le réglage d'un nombre réduit de paramètres permettent d'obtenir une excellente qualité de données synthétiques DP. Notre approche est compétitive avec l'entraînement direct DP des classificateurs en aval en termes de performance sur les tâches en aval. Nous démontrons également que nos données synthétiques DP ne sont pas seulement utiles pour l'entraînement des classificateurs en aval, mais aussi pour le réglage de ces mêmes modèles.

English

Differentially private (DP) training methods like DP-SGD can protect sensitive training data by ensuring that ML models will not reveal private information. An alternative approach, which this paper studies, is to use a sensitive dataset to generate a new synthetic dataset which is differentially private with respect to the original data. Doing so has several advantages: synthetic data can be reused for other tasks (including for hyper parameter tuning), retained indefinitely, or shared with third parties without sacrificing privacy. However, obtaining DP data is much harder than introducing DP during training. To make it feasible for text, recent work has utilized public data by starting with a pre-trained generative language model and privately finetuning it on sensitive data. This model can be used to sample a DP synthetic dataset. While this strategy seems straightforward, executing it has proven problematic. Previous approaches either show significant performance loss, or have, as we show, critical design flaws. In this paper we demonstrate that a proper training objective along with tuning fewer parameters results in excellent DP synthetic data quality. Our approach is competitive with direct DP-training of downstream classifiers in terms of performance on downstream tasks. We also demonstrate that our DP synthetic data is not only useful for downstream classifier training, but also to tune those same models.