Localizando a Memorização de Parágrafos em Modelos de Linguagem

Localizing Paragraph Memorization in Language Models

March 28, 2024

Autores: Niklas Stoehr, Mitchell Gordon, Chiyuan Zhang, Owen Lewis

cs.AI

Resumo

Podemos localizar os pesos e mecanismos usados por um modelo de linguagem para memorizar e recitar parágrafos inteiros de seus dados de treinamento? Neste artigo, mostramos que, embora a memorização esteja distribuída por várias camadas e componentes do modelo, os gradientes de parágrafos memorizados apresentam um padrão espacial distinguível, sendo maiores nas camadas inferiores do modelo em comparação com os gradientes de exemplos não memorizados. Além disso, os exemplos memorizados podem ser "desaprendidos" ao ajustar finamente apenas os pesos com gradientes elevados. Localizamos um cabeçalho de atenção em uma camada inferior que parece estar especialmente envolvido na memorização de parágrafos. Esse cabeçalho concentra predominantemente sua atenção em tokens distintos e raros, que são menos frequentes em uma distribuição unigramática ao nível do corpus. Em seguida, estudamos quão localizada é a memorização entre os tokens no prefixo, perturbando os tokens e medindo a mudança resultante na decodificação. Alguns tokens distintos no início de um prefixo podem frequentemente corromper toda a continuação. No geral, continuações memorizadas não são apenas mais difíceis de "desaprender", mas também de corromper do que as não memorizadas.

English

Can we localize the weights and mechanisms used by a language model to memorize and recite entire paragraphs of its training data? In this paper, we show that while memorization is spread across multiple layers and model components, gradients of memorized paragraphs have a distinguishable spatial pattern, being larger in lower model layers than gradients of non-memorized examples. Moreover, the memorized examples can be unlearned by fine-tuning only the high-gradient weights. We localize a low-layer attention head that appears to be especially involved in paragraph memorization. This head is predominantly focusing its attention on distinctive, rare tokens that are least frequent in a corpus-level unigram distribution. Next, we study how localized memorization is across the tokens in the prefix by perturbing tokens and measuring the caused change in the decoding. A few distinctive tokens early in a prefix can often corrupt the entire continuation. Overall, memorized continuations are not only harder to unlearn, but also to corrupt than non-memorized ones.