Localizzazione della Memorizzazione di Paragrafi nei Modelli Linguistici

Localizing Paragraph Memorization in Language Models

March 28, 2024

Autori: Niklas Stoehr, Mitchell Gordon, Chiyuan Zhang, Owen Lewis

cs.AI

Abstract

Possiamo localizzare i pesi e i meccanismi utilizzati da un modello linguistico per memorizzare e recitare interi paragrafi dei suoi dati di addestramento? In questo articolo, dimostriamo che, sebbene la memorizzazione sia distribuita su più livelli e componenti del modello, i gradienti dei paragrafi memorizzati presentano un modello spaziale distinguibile, essendo più ampi nei livelli inferiori del modello rispetto ai gradienti degli esempi non memorizzati. Inoltre, gli esempi memorizzati possono essere "dimenticati" attraverso un fine-tuning che agisce solo sui pesi con gradienti elevati. Localizziamo una testa di attenzione nei livelli più bassi che sembra essere particolarmente coinvolta nella memorizzazione dei paragrafi. Questa testa concentra principalmente la sua attenzione su token distintivi e rari, che sono meno frequenti in una distribuzione unigramma a livello di corpus. Successivamente, studiamo quanto sia localizzata la memorizzazione tra i token nel prefisso perturbando i token e misurando la variazione risultante nella decodifica. Alcuni token distintivi all'inizio di un prefisso possono spesso corrompere l'intera continuazione. In generale, le continuazioni memorizzate non solo sono più difficili da dimenticare, ma anche da corrompere rispetto a quelle non memorizzate.

English

Can we localize the weights and mechanisms used by a language model to memorize and recite entire paragraphs of its training data? In this paper, we show that while memorization is spread across multiple layers and model components, gradients of memorized paragraphs have a distinguishable spatial pattern, being larger in lower model layers than gradients of non-memorized examples. Moreover, the memorized examples can be unlearned by fine-tuning only the high-gradient weights. We localize a low-layer attention head that appears to be especially involved in paragraph memorization. This head is predominantly focusing its attention on distinctive, rare tokens that are least frequent in a corpus-level unigram distribution. Next, we study how localized memorization is across the tokens in the prefix by perturbing tokens and measuring the caused change in the decoding. A few distinctive tokens early in a prefix can often corrupt the entire continuation. Overall, memorized continuations are not only harder to unlearn, but also to corrupt than non-memorized ones.