Détection des données de prétraitement dans les grands modèles de langage

Résumé

Bien que les grands modèles de langage (LLM) soient largement déployés, les données utilisées pour les entraîner sont rarement divulguées. Étant donné l'échelle incroyable de ces données, pouvant atteindre des milliers de milliards de tokens, il est presque certain qu'elles incluent des textes potentiellement problématiques tels que des matériaux protégés par le droit d'auteur, des informations personnelles identifiables et des données de test pour des benchmarks de référence largement rapportés. Cependant, nous n'avons actuellement aucun moyen de savoir quelles données de ces types sont incluses ou dans quelles proportions. Dans cet article, nous étudions le problème de la détection des données de pré-entraînement : étant donné un texte et un accès en boîte noire à un LLM sans connaître les données de pré-entraînement, pouvons-nous déterminer si le modèle a été entraîné sur le texte fourni ? Pour faciliter cette étude, nous introduisons un benchmark dynamique, WIKIMIA, qui utilise des données créées avant et après l'entraînement du modèle pour soutenir une détection de vérité de référence. Nous introduisons également une nouvelle méthode de détection, Min-K% Prob, basée sur une hypothèse simple : un exemple non vu est susceptible de contenir quelques mots aberrants avec des probabilités faibles sous le LLM, tandis qu'un exemple vu est moins susceptible d'avoir des mots avec de si faibles probabilités. Min-K% Prob peut être appliquée sans aucune connaissance du corpus de pré-entraînement ou d'un entraînement supplémentaire, se démarquant des méthodes de détection précédentes qui nécessitent l'entraînement d'un modèle de référence sur des données similaires aux données de pré-entraînement. De plus, nos expériences démontrent que Min-K% Prob obtient une amélioration de 7,4 % sur WIKIMIA par rapport à ces méthodes précédentes. Nous appliquons Min-K% Prob à deux scénarios réels, la détection de livres protégés par le droit d'auteur et la détection d'exemples contaminés en aval, et constatons qu'il s'agit d'une solution constamment efficace.

English

Although large language models (LLMs) are widely deployed, the data used to train them is rarely disclosed. Given the incredible scale of this data, up to trillions of tokens, it is all but certain that it includes potentially problematic text such as copyrighted materials, personally identifiable information, and test data for widely reported reference benchmarks. However, we currently have no way to know which data of these types is included or in what proportions. In this paper, we study the pretraining data detection problem: given a piece of text and black-box access to an LLM without knowing the pretraining data, can we determine if the model was trained on the provided text? To facilitate this study, we introduce a dynamic benchmark WIKIMIA that uses data created before and after model training to support gold truth detection. We also introduce a new detection method Min-K% Prob based on a simple hypothesis: an unseen example is likely to contain a few outlier words with low probabilities under the LLM, while a seen example is less likely to have words with such low probabilities. Min-K% Prob can be applied without any knowledge about the pretraining corpus or any additional training, departing from previous detection methods that require training a reference model on data that is similar to the pretraining data. Moreover, our experiments demonstrate that Min-K% Prob achieves a 7.4% improvement on WIKIMIA over these previous methods. We apply Min-K% Prob to two real-world scenarios, copyrighted book detection, and contaminated downstream example detection, and find it a consistently effective solution.

Détection des données de prétraitement dans les grands modèles de langage

Detecting Pretraining Data from Large Language Models

Résumé

Support