Detectando Dados de Pré-treinamento em Modelos de Linguagem de Grande Escala

Resumo

Embora os modelos de linguagem de grande escala (LLMs) sejam amplamente implantados, os dados usados para treiná-los raramente são divulgados. Dada a escala incrível desses dados, que podem chegar a trilhões de tokens, é quase certo que eles incluam textos potencialmente problemáticos, como materiais protegidos por direitos autorais, informações pessoalmente identificáveis e dados de teste para benchmarks de referência amplamente relatados. No entanto, atualmente não temos como saber quais desses tipos de dados estão incluídos ou em que proporções. Neste artigo, estudamos o problema de detecção de dados de pré-treinamento: dado um texto e acesso a um LLM como uma caixa preta, sem conhecer os dados de pré-treinamento, podemos determinar se o modelo foi treinado com o texto fornecido? Para facilitar esse estudo, introduzimos um benchmark dinâmico chamado WIKIMIA, que utiliza dados criados antes e depois do treinamento do modelo para apoiar a detecção de verdade absoluta. Também apresentamos um novo método de detecção chamado Min-K% Prob, baseado em uma hipótese simples: um exemplo não visto provavelmente contém algumas palavras discrepantes com baixas probabilidades sob o LLM, enquanto um exemplo visto tem menor probabilidade de conter palavras com probabilidades tão baixas. O Min-K% Prob pode ser aplicado sem qualquer conhecimento sobre o corpus de pré-treinamento ou qualquer treinamento adicional, diferindo dos métodos anteriores que exigem o treinamento de um modelo de referência em dados semelhantes aos de pré-treinamento. Além disso, nossos experimentos demonstram que o Min-K% Prob alcança uma melhoria de 7,4% no WIKIMIA em relação a esses métodos anteriores. Aplicamos o Min-K% Prob a dois cenários do mundo real: detecção de livros protegidos por direitos autorais e detecção de exemplos contaminados em tarefas subsequentes, e descobrimos que ele é uma solução consistentemente eficaz.

English

Although large language models (LLMs) are widely deployed, the data used to train them is rarely disclosed. Given the incredible scale of this data, up to trillions of tokens, it is all but certain that it includes potentially problematic text such as copyrighted materials, personally identifiable information, and test data for widely reported reference benchmarks. However, we currently have no way to know which data of these types is included or in what proportions. In this paper, we study the pretraining data detection problem: given a piece of text and black-box access to an LLM without knowing the pretraining data, can we determine if the model was trained on the provided text? To facilitate this study, we introduce a dynamic benchmark WIKIMIA that uses data created before and after model training to support gold truth detection. We also introduce a new detection method Min-K% Prob based on a simple hypothesis: an unseen example is likely to contain a few outlier words with low probabilities under the LLM, while a seen example is less likely to have words with such low probabilities. Min-K% Prob can be applied without any knowledge about the pretraining corpus or any additional training, departing from previous detection methods that require training a reference model on data that is similar to the pretraining data. Moreover, our experiments demonstrate that Min-K% Prob achieves a 7.4% improvement on WIKIMIA over these previous methods. We apply Min-K% Prob to two real-world scenarios, copyrighted book detection, and contaminated downstream example detection, and find it a consistently effective solution.

Detectando Dados de Pré-treinamento em Modelos de Linguagem de Grande Escala

Detecting Pretraining Data from Large Language Models

Resumo

Support