Измерение запоминания через вероятностное извлечение обнаруживаемых данных

Measuring memorization through probabilistic discoverable extraction

October 25, 2024

Авторы: Jamie Hayes, Marika Swanberg, Harsh Chaudhari, Itay Yona, Ilia Shumailov

cs.AI

Аннотация

Большие языковые модели (LLM) подвержены запоминанию обучающих данных, вызывая беспокойство из-за потенциального извлечения чувствительной информации. Существующие методы измерения уровня запоминания LLM, в основном обнаружимого извлечения (Carlini и др., 2022), полагаются на жадную выборку одиночной последовательности, потенциально недооценивая истинный объем запоминания. В данной статье представлено вероятностное усовершенствование обнаружимого извлечения, которое количественно оценивает вероятность извлечения целевой последовательности в наборе сгенерированных образцов, учитывая различные схемы выборки и несколько попыток. Данный подход решает ограничения отчетности уровня запоминания через обнаружимое извлечение, учитывая вероятностную природу LLM и паттерны взаимодействия с пользователем. Наши эксперименты демонстрируют, что данная вероятностная мера может выявлять случаи более высоких уровней запоминания по сравнению с уровнями, найденными через обнаружимое извлечение. Мы также исследуем влияние различных схем выборки на извлекаемость, предоставляя более всестороннюю и реалистичную оценку запоминания LLM и связанных с ним рисков. Наши вклады включают в себя новое вероятностное определение запоминания, эмпирические доказательства его эффективности и тщательную оценку на различных моделях, размерах, схемах выборки и повторениях обучающих данных.

English

Large language models (LLMs) are susceptible to memorizing training data, raising concerns due to the potential extraction of sensitive information. Current methods to measure memorization rates of LLMs, primarily discoverable extraction (Carlini et al., 2022), rely on single-sequence greedy sampling, potentially underestimating the true extent of memorization. This paper introduces a probabilistic relaxation of discoverable extraction that quantifies the probability of extracting a target sequence within a set of generated samples, considering various sampling schemes and multiple attempts. This approach addresses the limitations of reporting memorization rates through discoverable extraction by accounting for the probabilistic nature of LLMs and user interaction patterns. Our experiments demonstrate that this probabilistic measure can reveal cases of higher memorization rates compared to rates found through discoverable extraction. We further investigate the impact of different sampling schemes on extractability, providing a more comprehensive and realistic assessment of LLM memorization and its associated risks. Our contributions include a new probabilistic memorization definition, empirical evidence of its effectiveness, and a thorough evaluation across different models, sizes, sampling schemes, and training data repetitions.