Localisation de la mémorisation de paragraphes dans les modèles de langage

Localizing Paragraph Memorization in Language Models

March 28, 2024

Auteurs: Niklas Stoehr, Mitchell Gordon, Chiyuan Zhang, Owen Lewis

cs.AI

Résumé

Pouvons-nous localiser les poids et mécanismes utilisés par un modèle de langage pour mémoriser et réciter des paragraphes entiers de ses données d'entraînement ? Dans cet article, nous montrons que bien que la mémorisation soit répartie sur plusieurs couches et composants du modèle, les gradients des paragraphes mémorisés présentent un motif spatial distinct, étant plus importants dans les couches inférieures du modèle que les gradients des exemples non mémorisés. De plus, les exemples mémorisés peuvent être désappris en affinant uniquement les poids à fort gradient. Nous localisons une tête d'attention dans une couche inférieure qui semble particulièrement impliquée dans la mémorisation de paragraphes. Cette tête concentre principalement son attention sur des tokens distinctifs et rares qui sont les moins fréquents dans une distribution unigramme au niveau du corpus. Ensuite, nous étudions à quel point la mémorisation est localisée sur les tokens du préfixe en perturbant ces tokens et en mesurant le changement induit dans le décodage. Quelques tokens distinctifs au début d'un préfixe peuvent souvent corrompre toute la continuation. Globalement, les continuations mémorisées sont non seulement plus difficiles à désapprendre, mais aussi à corrompre que celles qui ne sont pas mémorisées.

English

Can we localize the weights and mechanisms used by a language model to memorize and recite entire paragraphs of its training data? In this paper, we show that while memorization is spread across multiple layers and model components, gradients of memorized paragraphs have a distinguishable spatial pattern, being larger in lower model layers than gradients of non-memorized examples. Moreover, the memorized examples can be unlearned by fine-tuning only the high-gradient weights. We localize a low-layer attention head that appears to be especially involved in paragraph memorization. This head is predominantly focusing its attention on distinctive, rare tokens that are least frequent in a corpus-level unigram distribution. Next, we study how localized memorization is across the tokens in the prefix by perturbing tokens and measuring the caused change in the decoding. A few distinctive tokens early in a prefix can often corrupt the entire continuation. Overall, memorized continuations are not only harder to unlearn, but also to corrupt than non-memorized ones.