Использование крупных языковых моделей для генерации приватного синтетического текста

Harnessing large-language models to generate private synthetic text

June 2, 2023

Авторы: Alexey Kurakin, Natalia Ponomareva, Umar Syed, Liam MacDermed, Andreas Terzis

cs.AI

Аннотация

Методы обучения с дифференциальной приватностью (DP), такие как DP-SGD, могут защищать конфиденциальные обучающие данные, гарантируя, что модели машинного обучения не раскроют приватную информацию. Альтернативный подход, который исследуется в данной работе, заключается в использовании конфиденциального набора данных для генерации нового синтетического набора данных, который является дифференциально приватным по отношению к исходным данным. Такой подход имеет несколько преимуществ: синтетические данные могут быть повторно использованы для других задач (включая настройку гиперпараметров), храниться неограниченное время или передаваться третьим сторонам без ущерба для конфиденциальности. Однако получение DP-данных значительно сложнее, чем внедрение DP в процессе обучения. Чтобы сделать это осуществимым для текстовых данных, в последних работах использовались публичные данные, начиная с предварительно обученной генеративной языковой модели и дообучая её на конфиденциальных данных с учетом приватности. Эта модель может использоваться для создания синтетического набора данных с DP. Хотя такая стратегия кажется простой, её реализация оказалась проблематичной. Предыдущие подходы либо демонстрируют значительную потерю производительности, либо, как мы показываем, содержат критические недостатки в дизайне. В данной работе мы демонстрируем, что правильная формулировка задачи обучения вместе с настройкой меньшего числа параметров приводит к отличному качеству синтетических данных с DP. Наш подход конкурентоспособен с прямым DP-обучением классификаторов в терминах производительности на последующих задачах. Мы также показываем, что наши синтетические данные с DP полезны не только для обучения классификаторов, но и для настройки этих же моделей.

English

Differentially private (DP) training methods like DP-SGD can protect sensitive training data by ensuring that ML models will not reveal private information. An alternative approach, which this paper studies, is to use a sensitive dataset to generate a new synthetic dataset which is differentially private with respect to the original data. Doing so has several advantages: synthetic data can be reused for other tasks (including for hyper parameter tuning), retained indefinitely, or shared with third parties without sacrificing privacy. However, obtaining DP data is much harder than introducing DP during training. To make it feasible for text, recent work has utilized public data by starting with a pre-trained generative language model and privately finetuning it on sensitive data. This model can be used to sample a DP synthetic dataset. While this strategy seems straightforward, executing it has proven problematic. Previous approaches either show significant performance loss, or have, as we show, critical design flaws. In this paper we demonstrate that a proper training objective along with tuning fewer parameters results in excellent DP synthetic data quality. Our approach is competitive with direct DP-training of downstream classifiers in terms of performance on downstream tasks. We also demonstrate that our DP synthetic data is not only useful for downstream classifier training, but also to tune those same models.