Lokalisierung der Absatz-Memorisierung in Sprachmodellen

Localizing Paragraph Memorization in Language Models

March 28, 2024

Autoren: Niklas Stoehr, Mitchell Gordon, Chiyuan Zhang, Owen Lewis

cs.AI

Zusammenfassung

Können wir die Gewichte und Mechanismen, die von einem Sprachmodell verwendet werden, um ganze Absätze seiner Trainingsdaten auswendig zu lernen und wiederzugeben, lokalisieren? In diesem Paper zeigen wir, dass die Auswendiglernvorgänge über mehrere Schichten und Modellkomponenten verteilt sind, wobei die Gradienten der auswendig gelernten Absätze ein erkennbares räumliches Muster aufweisen, da sie in unteren Modellschichten größer sind als die Gradienten der nicht auswendig gelernten Beispiele. Darüber hinaus können die auswendig gelernten Beispiele durch Feinabstimmung nur der Gewichte mit hohen Gradienten verlernt werden. Wir lokalisieren einen Aufmerksamkeitskopf in einer niedrigen Schicht, der anscheinend besonders am Auswendiglernen von Absätzen beteiligt ist. Dieser Kopf konzentriert seine Aufmerksamkeit hauptsächlich auf charakteristische, seltene Token, die in einer unigrammweiten Verteilung im Korpus am seltensten vorkommen. Als nächstes untersuchen wir, wie die lokalisierte Auswendiglernung über die Token im Präfix verteilt ist, indem wir die Token verändern und die dadurch verursachte Änderung beim Decodieren messen. Einige charakteristische Token am Anfang eines Präfixes können oft die gesamte Fortsetzung verderben. Insgesamt sind auswendig gelernte Fortsetzungen nicht nur schwerer zu verlernen, sondern auch schwerer zu verderben als nicht auswendig gelernte.

English

Can we localize the weights and mechanisms used by a language model to memorize and recite entire paragraphs of its training data? In this paper, we show that while memorization is spread across multiple layers and model components, gradients of memorized paragraphs have a distinguishable spatial pattern, being larger in lower model layers than gradients of non-memorized examples. Moreover, the memorized examples can be unlearned by fine-tuning only the high-gradient weights. We localize a low-layer attention head that appears to be especially involved in paragraph memorization. This head is predominantly focusing its attention on distinctive, rare tokens that are least frequent in a corpus-level unigram distribution. Next, we study how localized memorization is across the tokens in the prefix by perturbing tokens and measuring the caused change in the decoding. A few distinctive tokens early in a prefix can often corrupt the entire continuation. Overall, memorized continuations are not only harder to unlearn, but also to corrupt than non-memorized ones.