Управление извлечением запомненных данных из крупных языковых моделей с помощью настройки промптов

Controlling the Extraction of Memorized Data from Large Language Models via Prompt-Tuning

May 19, 2023

Авторы: Mustafa Safa Ozdayi, Charith Peris, Jack FitzGerald, Christophe Dupuy, Jimit Majmudar, Haidar Khan, Rahil Parikh, Rahul Gupta

cs.AI

Аннотация

Известно, что большие языковые модели (LLM) запоминают значительные части своих обучающих данных. Было показано, что некоторые из этих запомненных данных могут быть извлечены путем простого запроса к модели, что создает угрозу конфиденциальности. Мы представляем новый подход, использующий настройку промптов для управления уровнем извлечения запомненных данных в LLM. Мы предлагаем две стратегии обучения промптов для увеличения и уменьшения уровня извлечения, что соответствует атаке и защите соответственно. Мы демонстрируем эффективность наших методов, используя модели из семейства GPT-Neo на публичном бенчмарке. Для модели GPT-Neo с 1,3 миллиардами параметров наша атака приводит к увеличению уровня извлечения на 9,3 процентных пункта по сравнению с базовым уровнем. Наша защита может быть настроена для достижения различных компромиссов между конфиденциальностью и полезностью с помощью задаваемого пользователем гиперпараметра. Мы достигаем снижения уровня извлечения до 97,7% относительно базового уровня при увеличении перплексии на 16,9%.

English

Large Language Models (LLMs) are known to memorize significant portions of their training data. Parts of this memorized content have been shown to be extractable by simply querying the model, which poses a privacy risk. We present a novel approach which uses prompt-tuning to control the extraction rates of memorized content in LLMs. We present two prompt training strategies to increase and decrease extraction rates, which correspond to an attack and a defense, respectively. We demonstrate the effectiveness of our techniques by using models from the GPT-Neo family on a public benchmark. For the 1.3B parameter GPT-Neo model, our attack yields a 9.3 percentage point increase in extraction rate compared to our baseline. Our defense can be tuned to achieve different privacy-utility trade-offs by a user-specified hyperparameter. We achieve an extraction rate reduction of up to 97.7% relative to our baseline, with a perplexity increase of 16.9%.