Localización de la Memorización de Párrafos en Modelos de Lenguaje

Localizing Paragraph Memorization in Language Models

March 28, 2024

Autores: Niklas Stoehr, Mitchell Gordon, Chiyuan Zhang, Owen Lewis

cs.AI

Resumen

¿Podemos localizar los pesos y mecanismos utilizados por un modelo de lenguaje para memorizar y recitar párrafos completos de sus datos de entrenamiento? En este artículo, demostramos que, aunque la memorización se distribuye en múltiples capas y componentes del modelo, los gradientes de los párrafos memorizados tienen un patrón espacial distinguible, siendo mayores en las capas inferiores del modelo que los gradientes de ejemplos no memorizados. Además, los ejemplos memorizados pueden ser "desaprendidos" ajustando únicamente los pesos con gradientes altos. Localizamos una cabeza de atención en una capa baja que parece estar especialmente involucrada en la memorización de párrafos. Esta cabeza se enfoca predominantemente en tokens distintivos y raros que son menos frecuentes en una distribución unigram a nivel de corpus. A continuación, estudiamos cuán localizada está la memorización en los tokens del prefijo al perturbar tokens y medir el cambio resultante en la decodificación. Unos pocos tokens distintivos al inicio del prefijo a menudo pueden corromper toda la continuación. En general, las continuaciones memorizadas no solo son más difíciles de desaprender, sino también de corromper en comparación con las no memorizadas.

English

Can we localize the weights and mechanisms used by a language model to memorize and recite entire paragraphs of its training data? In this paper, we show that while memorization is spread across multiple layers and model components, gradients of memorized paragraphs have a distinguishable spatial pattern, being larger in lower model layers than gradients of non-memorized examples. Moreover, the memorized examples can be unlearned by fine-tuning only the high-gradient weights. We localize a low-layer attention head that appears to be especially involved in paragraph memorization. This head is predominantly focusing its attention on distinctive, rare tokens that are least frequent in a corpus-level unigram distribution. Next, we study how localized memorization is across the tokens in the prefix by perturbing tokens and measuring the caused change in the decoding. A few distinctive tokens early in a prefix can often corrupt the entire continuation. Overall, memorized continuations are not only harder to unlearn, but also to corrupt than non-memorized ones.