Erkennung von Vortrainingsdaten in großen Sprachmodellen

Zusammenfassung

Obwohl große Sprachmodelle (LLMs) weit verbreitet sind, werden die Daten, die zu ihrer Trainierung verwendet werden, selten offengelegt. Angesichts des unglaublichen Umfangs dieser Daten, die bis zu Billionen von Tokens umfassen können, ist es nahezu sicher, dass sie potenziell problematische Texte wie urheberrechtlich geschützte Materialien, personenbezogene Informationen und Testdaten für weit verbreitete Referenzbenchmarks enthalten. Allerdings haben wir derzeit keine Möglichkeit zu wissen, welche Daten dieser Art enthalten sind oder in welchen Anteilen. In diesem Artikel untersuchen wir das Problem der Erkennung von Vortrainingsdaten: Können wir, gegeben ein Textstück und einen Black-Box-Zugang zu einem LLM ohne Kenntnis der Vortrainingsdaten, feststellen, ob das Modell mit dem bereitgestellten Text trainiert wurde? Um diese Studie zu ermöglichen, führen wir einen dynamischen Benchmark WIKIMIA ein, der Daten verwendet, die vor und nach dem Modelltraining erstellt wurden, um eine Goldstandard-Erkennung zu unterstützen. Wir stellen auch eine neue Erkennungsmethode Min-K% Prob vor, die auf einer einfachen Hypothese basiert: Ein unbekanntes Beispiel enthält wahrscheinlich einige Ausreißerwörter mit niedrigen Wahrscheinlichkeiten unter dem LLM, während ein bekanntes Beispiel weniger wahrscheinlich Wörter mit solch niedrigen Wahrscheinlichkeiten aufweist. Min-K% Prob kann ohne Kenntnis des Vortrainingskorpus oder zusätzliches Training angewendet werden, was sich von früheren Erkennungsmethoden unterscheidet, die das Training eines Referenzmodells auf Daten erfordern, die den Vortrainingsdaten ähneln. Darüber hinaus zeigen unsere Experimente, dass Min-K% Prob auf WIKIMIA eine Verbesserung von 7,4 % gegenüber diesen früheren Methoden erzielt. Wir wenden Min-K% Prob auf zwei reale Szenarien an, die Erkennung urheberrechtlich geschützter Bücher und die Erkennung kontaminierter Downstream-Beispiele, und finden es als eine durchweg effektive Lösung.

English

Although large language models (LLMs) are widely deployed, the data used to train them is rarely disclosed. Given the incredible scale of this data, up to trillions of tokens, it is all but certain that it includes potentially problematic text such as copyrighted materials, personally identifiable information, and test data for widely reported reference benchmarks. However, we currently have no way to know which data of these types is included or in what proportions. In this paper, we study the pretraining data detection problem: given a piece of text and black-box access to an LLM without knowing the pretraining data, can we determine if the model was trained on the provided text? To facilitate this study, we introduce a dynamic benchmark WIKIMIA that uses data created before and after model training to support gold truth detection. We also introduce a new detection method Min-K% Prob based on a simple hypothesis: an unseen example is likely to contain a few outlier words with low probabilities under the LLM, while a seen example is less likely to have words with such low probabilities. Min-K% Prob can be applied without any knowledge about the pretraining corpus or any additional training, departing from previous detection methods that require training a reference model on data that is similar to the pretraining data. Moreover, our experiments demonstrate that Min-K% Prob achieves a 7.4% improvement on WIKIMIA over these previous methods. We apply Min-K% Prob to two real-world scenarios, copyrighted book detection, and contaminated downstream example detection, and find it a consistently effective solution.

Erkennung von Vortrainingsdaten in großen Sprachmodellen

Detecting Pretraining Data from Large Language Models

Zusammenfassung

Support