Локализация запоминания параграфов в языковых моделях

Localizing Paragraph Memorization in Language Models

March 28, 2024

Авторы: Niklas Stoehr, Mitchell Gordon, Chiyuan Zhang, Owen Lewis

cs.AI

Аннотация

Можем ли мы локализовать веса и механизмы, используемые моделью языка для запоминания и воспроизведения целых абзацев своих обучающих данных? В данной статье мы показываем, что, хотя запоминание распределено по нескольким слоям и компонентам модели, градиенты запомненных абзацев имеют различимый пространственный узор, будучи более выраженными в нижних слоях модели, чем градиенты не запомненных примеров. Более того, запомненные примеры могут быть разучены путем донастройки только высокоградиентных весов. Мы локализуем внимание низкослойной головки, которая, кажется, особенно вовлечена в запоминание абзацев. Эта головка в основном сосредотачивает свое внимание на характерных, редких токенах, которые наименее часто встречаются в униграммном распределении корпуса. Затем мы изучаем, как локализовано запоминание через токены в префиксе, исказив токены и измерив вызванные изменения в декодировании. Несколько характерных токенов в начале префикса часто могут испортить весь последующий текст. В целом, запомненные продолжения не только сложнее разучить, но и испортить, чем не запомненные.

English

Can we localize the weights and mechanisms used by a language model to memorize and recite entire paragraphs of its training data? In this paper, we show that while memorization is spread across multiple layers and model components, gradients of memorized paragraphs have a distinguishable spatial pattern, being larger in lower model layers than gradients of non-memorized examples. Moreover, the memorized examples can be unlearned by fine-tuning only the high-gradient weights. We localize a low-layer attention head that appears to be especially involved in paragraph memorization. This head is predominantly focusing its attention on distinctive, rare tokens that are least frequent in a corpus-level unigram distribution. Next, we study how localized memorization is across the tokens in the prefix by perturbing tokens and measuring the caused change in the decoding. A few distinctive tokens early in a prefix can often corrupt the entire continuation. Overall, memorized continuations are not only harder to unlearn, but also to corrupt than non-memorized ones.