Detección de Datos de Pretrenamiento en Modelos de Lenguaje a Gran Escala

Resumen

Aunque los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) están ampliamente implementados, los datos utilizados para entrenarlos rara vez se divulgan. Dada la increíble escala de estos datos, que pueden alcanzar billones de tokens, es casi seguro que incluyen texto potencialmente problemático, como materiales con derechos de autor, información personal identificable y datos de prueba para puntos de referencia ampliamente reportados. Sin embargo, actualmente no tenemos forma de saber qué tipos de datos están incluidos o en qué proporciones. En este artículo, estudiamos el problema de detección de datos de preentrenamiento: dado un fragmento de texto y acceso de caja negra a un LLM sin conocer los datos de preentrenamiento, ¿podemos determinar si el modelo fue entrenado con el texto proporcionado? Para facilitar este estudio, introducimos un punto de referencia dinámico, WIKIMIA, que utiliza datos creados antes y después del entrenamiento del modelo para respaldar la detección de la verdad absoluta. También presentamos un nuevo método de detección, Min-K% Prob, basado en una hipótesis simple: un ejemplo no visto probablemente contenga algunas palabras atípicas con bajas probabilidades bajo el LLM, mientras que un ejemplo visto es menos probable que tenga palabras con probabilidades tan bajas. Min-K% Prob puede aplicarse sin ningún conocimiento sobre el corpus de preentrenamiento o cualquier entrenamiento adicional, diferenciándose de métodos de detección anteriores que requieren entrenar un modelo de referencia con datos similares a los de preentrenamiento. Además, nuestros experimentos demuestran que Min-K% Prob logra una mejora del 7.4% en WIKIMIA sobre estos métodos anteriores. Aplicamos Min-K% Prob a dos escenarios del mundo real: detección de libros con derechos de autor y detección de ejemplos contaminados en tareas posteriores, y encontramos que es una solución consistentemente efectiva.

English

Although large language models (LLMs) are widely deployed, the data used to train them is rarely disclosed. Given the incredible scale of this data, up to trillions of tokens, it is all but certain that it includes potentially problematic text such as copyrighted materials, personally identifiable information, and test data for widely reported reference benchmarks. However, we currently have no way to know which data of these types is included or in what proportions. In this paper, we study the pretraining data detection problem: given a piece of text and black-box access to an LLM without knowing the pretraining data, can we determine if the model was trained on the provided text? To facilitate this study, we introduce a dynamic benchmark WIKIMIA that uses data created before and after model training to support gold truth detection. We also introduce a new detection method Min-K% Prob based on a simple hypothesis: an unseen example is likely to contain a few outlier words with low probabilities under the LLM, while a seen example is less likely to have words with such low probabilities. Min-K% Prob can be applied without any knowledge about the pretraining corpus or any additional training, departing from previous detection methods that require training a reference model on data that is similar to the pretraining data. Moreover, our experiments demonstrate that Min-K% Prob achieves a 7.4% improvement on WIKIMIA over these previous methods. We apply Min-K% Prob to two real-world scenarios, copyrighted book detection, and contaminated downstream example detection, and find it a consistently effective solution.

Detección de Datos de Pretrenamiento en Modelos de Lenguaje a Gran Escala

Detecting Pretraining Data from Large Language Models

Resumen

Support