Het lokaliseren van paragraafmemorisatie in taalmodelen

Localizing Paragraph Memorization in Language Models

March 28, 2024

Auteurs: Niklas Stoehr, Mitchell Gordon, Chiyuan Zhang, Owen Lewis

cs.AI

Samenvatting

Kunnen we de gewichten en mechanismen lokaliseren die door een taalmodel worden gebruikt om hele alinea's van zijn trainingsdata te onthouden en op te zeggen? In dit artikel laten we zien dat, hoewel memorisatie verspreid is over meerdere lagen en modelcomponenten, de gradiënten van gememoriseerde alinea's een onderscheidend ruimtelijk patroon hebben, waarbij ze groter zijn in de lagere modellagen dan de gradiënten van niet-gememoriseerde voorbeelden. Bovendien kunnen de gememoriseerde voorbeelden worden afgeleerd door alleen de gewichten met hoge gradiënten te finetunen. We lokaliseren een aandachtskop in een lage laag die vooral betrokken lijkt te zijn bij het memoriseren van alinea's. Deze kop richt zijn aandacht voornamelijk op onderscheidende, zeldzame tokens die het minst frequent zijn in een unigramverdeling op corpusniveau. Vervolgens bestuderen we hoe gelokaliseerd de memorisatie is over de tokens in het voorvoegsel door tokens te verstoren en de veroorzaakte verandering in de decodering te meten. Een paar onderscheidende tokens vroeg in een voorvoegsel kunnen vaak de hele voortzetting verstoren. Over het algemeen zijn gememoriseerde voortzettingen niet alleen moeilijker af te leren, maar ook moeilijker te verstoren dan niet-gememoriseerde voortzettingen.

English

Can we localize the weights and mechanisms used by a language model to memorize and recite entire paragraphs of its training data? In this paper, we show that while memorization is spread across multiple layers and model components, gradients of memorized paragraphs have a distinguishable spatial pattern, being larger in lower model layers than gradients of non-memorized examples. Moreover, the memorized examples can be unlearned by fine-tuning only the high-gradient weights. We localize a low-layer attention head that appears to be especially involved in paragraph memorization. This head is predominantly focusing its attention on distinctive, rare tokens that are least frequent in a corpus-level unigram distribution. Next, we study how localized memorization is across the tokens in the prefix by perturbing tokens and measuring the caused change in the decoding. A few distinctive tokens early in a prefix can often corrupt the entire continuation. Overall, memorized continuations are not only harder to unlearn, but also to corrupt than non-memorized ones.