Aproveitando modelos de linguagem de grande escala para gerar texto sintético privado.

Harnessing large-language models to generate private synthetic text

June 2, 2023

Autores: Alexey Kurakin, Natalia Ponomareva, Umar Syed, Liam MacDermed, Andreas Terzis

cs.AI

Resumo

Métodos de treinamento com privacidade diferencial (DP), como o DP-SGD, podem proteger dados sensíveis de treinamento, garantindo que modelos de ML não revelem informações privadas. Uma abordagem alternativa, que este artigo estuda, é usar um conjunto de dados sensível para gerar um novo conjunto de dados sintético que seja diferencialmente privado em relação aos dados originais. Isso traz várias vantagens: os dados sintéticos podem ser reutilizados para outras tarefas (incluindo ajuste de hiperparâmetros), mantidos indefinidamente ou compartilhados com terceiros sem sacrificar a privacidade. No entanto, obter dados com DP é muito mais difícil do que introduzir DP durante o treinamento. Para torná-lo viável para texto, trabalhos recentes utilizaram dados públicos, começando com um modelo de linguagem generativo pré-treinado e ajustando-o de forma privada em dados sensíveis. Esse modelo pode ser usado para amostrar um conjunto de dados sintético com DP. Embora essa estratégia pareça direta, sua execução tem se mostrado problemática. Abordagens anteriores ou apresentam perda significativa de desempenho ou têm, como mostramos, falhas críticas de design. Neste artigo, demonstramos que um objetivo de treinamento adequado, juntamente com o ajuste de menos parâmetros, resulta em uma excelente qualidade de dados sintéticos com DP. Nossa abordagem é competitiva com o treinamento direto com DP de classificadores de tarefas subsequentes em termos de desempenho nessas tarefas. Também demonstramos que nossos dados sintéticos com DP não são apenas úteis para o treinamento de classificadores subsequentes, mas também para ajustar esses mesmos modelos.

English

Differentially private (DP) training methods like DP-SGD can protect sensitive training data by ensuring that ML models will not reveal private information. An alternative approach, which this paper studies, is to use a sensitive dataset to generate a new synthetic dataset which is differentially private with respect to the original data. Doing so has several advantages: synthetic data can be reused for other tasks (including for hyper parameter tuning), retained indefinitely, or shared with third parties without sacrificing privacy. However, obtaining DP data is much harder than introducing DP during training. To make it feasible for text, recent work has utilized public data by starting with a pre-trained generative language model and privately finetuning it on sensitive data. This model can be used to sample a DP synthetic dataset. While this strategy seems straightforward, executing it has proven problematic. Previous approaches either show significant performance loss, or have, as we show, critical design flaws. In this paper we demonstrate that a proper training objective along with tuning fewer parameters results in excellent DP synthetic data quality. Our approach is competitive with direct DP-training of downstream classifiers in terms of performance on downstream tasks. We also demonstrate that our DP synthetic data is not only useful for downstream classifier training, but also to tune those same models.