Обнаружение данных предварительного обучения в больших языковых моделях

Аннотация

Хотя крупные языковые модели (LLM) широко используются, данные, на которых они обучаются, редко раскрываются. Учитывая невероятный масштаб этих данных, достигающий триллионов токенов, практически наверняка они включают потенциально проблемные тексты, такие как материалы, защищенные авторским правом, персональные данные и тестовые данные для широко известных эталонных тестов. Однако в настоящее время у нас нет возможности узнать, какие именно данные такого типа включены и в каких пропорциях. В данной статье мы исследуем проблему обнаружения данных предварительного обучения: имея текст и черный ящик доступа к LLM без знания данных предварительного обучения, можем ли мы определить, была ли модель обучена на предоставленном тексте? Для облегчения этого исследования мы представляем динамический бенчмарк WIKIMIA, который использует данные, созданные до и после обучения модели, чтобы обеспечить точное обнаружение. Мы также представляем новый метод обнаружения Min-K% Prob, основанный на простой гипотезе: невидимый пример, вероятно, содержит несколько слов-выбросов с низкими вероятностями в LLM, тогда как в видимом примере такие слова с низкими вероятностями встречаются реже. Min-K% Prob может быть применен без знания о корпусе предварительного обучения или дополнительного обучения, что отличает его от предыдущих методов обнаружения, требующих обучения эталонной модели на данных, схожих с данными предварительного обучения. Более того, наши эксперименты показывают, что Min-K% Prob обеспечивает улучшение на 7,4% на WIKIMIA по сравнению с этими предыдущими методами. Мы применяем Min-K% Prob к двум реальным сценариям: обнаружению книг, защищенных авторским правом, и обнаружению загрязненных примеров в последующих задачах, и находим его стабильно эффективным решением.

English

Although large language models (LLMs) are widely deployed, the data used to train them is rarely disclosed. Given the incredible scale of this data, up to trillions of tokens, it is all but certain that it includes potentially problematic text such as copyrighted materials, personally identifiable information, and test data for widely reported reference benchmarks. However, we currently have no way to know which data of these types is included or in what proportions. In this paper, we study the pretraining data detection problem: given a piece of text and black-box access to an LLM without knowing the pretraining data, can we determine if the model was trained on the provided text? To facilitate this study, we introduce a dynamic benchmark WIKIMIA that uses data created before and after model training to support gold truth detection. We also introduce a new detection method Min-K% Prob based on a simple hypothesis: an unseen example is likely to contain a few outlier words with low probabilities under the LLM, while a seen example is less likely to have words with such low probabilities. Min-K% Prob can be applied without any knowledge about the pretraining corpus or any additional training, departing from previous detection methods that require training a reference model on data that is similar to the pretraining data. Moreover, our experiments demonstrate that Min-K% Prob achieves a 7.4% improvement on WIKIMIA over these previous methods. We apply Min-K% Prob to two real-world scenarios, copyrighted book detection, and contaminated downstream example detection, and find it a consistently effective solution.

Обнаружение данных предварительного обучения в больших языковых моделях

Detecting Pretraining Data from Large Language Models

Аннотация

Support