Wie neue Daten das Wissen von LLMs durchdringen und wie man es verdünnt

How new data permeates LLM knowledge and how to dilute it

April 13, 2025

Autoren: Chen Sun, Renat Aksitov, Andrey Zhmoginov, Nolan Andrew Miller, Max Vladymyrov, Ulrich Rueckert, Been Kim, Mark Sandler

cs.AI

Zusammenfassung

Große Sprachmodelle lernen und lernen kontinuierlich durch die Akkumulation von gradientenbasierten Updates, aber wie einzelne neue Informationen das bestehende Wissen beeinflussen, was sowohl zu nützlicher Generalisierung als auch zu problematischen Halluzinationen führt, bleibt weitgehend unverstanden. Wir zeigen, dass beim Lernen neuer Informationen LLMs einen „Priming“-Effekt aufweisen: Das Lernen einer neuen Tatsache kann dazu führen, dass das Modell dieses Wissen unangemessen in unzusammenhängenden Kontexten anwendet. Um dieses Phänomen systematisch zu untersuchen, führen wir „Outlandish“ ein, einen sorgfältig kuratierten Datensatz von 1320 diversen Textproben, der darauf abzielt, zu untersuchen, wie neues Wissen durch die bestehende Wissensbasis eines LLMs diffundiert. Mit diesem Datensatz zeigen wir, dass das Ausmaß des Primings nach dem Lernen neuer Informationen vorhergesagt werden kann, indem die Token-Wahrscheinlichkeit von Schlüsselwörtern vor dem Lernen gemessen wird. Diese Beziehung bleibt robust über verschiedene Modellarchitekturen (PALM-2, Gemma, Llama), Größen und Trainingsstadien hinweg. Schließlich entwickeln wir zwei neuartige Techniken, um zu modulieren, wie neues Wissen das bestehende Modellverhalten beeinflusst: (1) eine „Stepping-Stone“-Textaugmentierungsstrategie und (2) eine „Ignore-k“-Update-Pruning-Methode. Diese Ansätze reduzieren unerwünschte Priming-Effekte um 50-95 %, während die Fähigkeit des Modells, neue Informationen zu lernen, erhalten bleibt. Unsere Erkenntnisse bieten sowohl empirische Einblicke in das Lernen von LLMs als auch praktische Werkzeuge zur Verbesserung der Spezifität der Wissenseinfügung in Sprachmodelle. Weitere Materialien: https://sunchipsster1.github.io/projects/outlandish/

English

Large language models learn and continually learn through the accumulation of gradient-based updates, but how individual pieces of new information affect existing knowledge, leading to both beneficial generalization and problematic hallucination, remains poorly understood. We demonstrate that when learning new information, LLMs exhibit a "priming" effect: learning a new fact can cause the model to inappropriately apply that knowledge in unrelated contexts. To systematically study this phenomenon, we introduce "Outlandish," a carefully curated dataset of 1320 diverse text samples designed to probe how new knowledge permeates through an LLM's existing knowledge base. Using this dataset, we show that the degree of priming after learning new information can be predicted by measuring the token probability of key words before learning. This relationship holds robustly across different model architectures (PALM-2, Gemma, Llama), sizes, and training stages. Finally, we develop two novel techniques to modulate how new knowledge affects existing model behavior: (1) a ``stepping-stone'' text augmentation strategy and (2) an ``ignore-k'' update pruning method. These approaches reduce undesirable priming effects by 50-95\% while preserving the model's ability to learn new information. Our findings provide both empirical insights into how LLMs learn and practical tools for improving the specificity of knowledge insertion in language models. Further materials: https://sunchipsster1.github.io/projects/outlandish/