Будь как золотая рыбка, не запоминай! Смягчение запоминания в генеративных языковых моделях.

Be like a Goldfish, Don't Memorize! Mitigating Memorization in Generative LLMs

June 14, 2024

Авторы: Abhimanyu Hans, Yuxin Wen, Neel Jain, John Kirchenbauer, Hamid Kazemi, Prajwal Singhania, Siddharth Singh, Gowthami Somepalli, Jonas Geiping, Abhinav Bhatele, Tom Goldstein

cs.AI

Аннотация

Большие языковые модели могут запоминать и повторять свои обучающие данные, что создает риски для конфиденциальности и авторских прав. Для смягчения запоминания мы вводим тонкую модификацию цели обучения по следующему токену, которую мы называем потерей золотой рыбки. Во время обучения случайным образом выбирается подмножество токенов, исключаемых из вычисления потерь. Эти отброшенные токены не запоминаются моделью, что предотвращает дословное воспроизведение полной цепочки токенов из обучающего набора. Мы проводим обширные эксперименты по обучению моделей Llama-2 масштабом в миллиард токенов, как предварительно обученных, так и обученных с нуля, и демонстрируем значительное снижение возможности извлечения запоминаний с незначительным или отсутствующим влиянием на последующие бенчмарки.

English

Large language models can memorize and repeat their training data, causing privacy and copyright risks. To mitigate memorization, we introduce a subtle modification to the next-token training objective that we call the goldfish loss. During training, a randomly sampled subset of tokens are excluded from the loss computation. These dropped tokens are not memorized by the model, which prevents verbatim reproduction of a complete chain of tokens from the training set. We run extensive experiments training billion-scale Llama-2 models, both pre-trained and trained from scratch, and demonstrate significant reductions in extractable memorization with little to no impact on downstream benchmarks.