Comment les nouvelles données s'intègrent dans les connaissances des LLM et comment les diluer

How new data permeates LLM knowledge and how to dilute it

April 13, 2025

Auteurs: Chen Sun, Renat Aksitov, Andrey Zhmoginov, Nolan Andrew Miller, Max Vladymyrov, Ulrich Rueckert, Been Kim, Mark Sandler

cs.AI

Résumé

Les grands modèles de langage apprennent et continuent d'apprendre grâce à l'accumulation de mises à jour basées sur les gradients, mais la manière dont des éléments individuels de nouvelles informations influencent les connaissances existantes, conduisant à la fois à une généralisation bénéfique et à des hallucinations problématiques, reste mal comprise. Nous démontrons que lors de l'apprentissage de nouvelles informations, les LLM présentent un effet de "préparation" : l'apprentissage d'un nouveau fait peut amener le modèle à appliquer de manière inappropriée cette connaissance dans des contextes non liés. Pour étudier systématiquement ce phénomène, nous introduisons "Outlandish", un ensemble de données soigneusement constitué de 1320 échantillons de textes variés conçus pour explorer comment les nouvelles connaissances s'infiltrent dans la base de connaissances existante d'un LLM. En utilisant cet ensemble de données, nous montrons que le degré de préparation après l'apprentissage de nouvelles informations peut être prédit en mesurant la probabilité des tokens des mots clés avant l'apprentissage. Cette relation se vérifie de manière robuste à travers différentes architectures de modèles (PALM-2, Gemma, Llama), tailles et étapes d'entraînement. Enfin, nous développons deux techniques novatrices pour moduler la manière dont les nouvelles connaissances affectent le comportement existant du modèle : (1) une stratégie d'augmentation de texte par "pierres angulaires" et (2) une méthode d'élagage des mises à jour "ignore-k". Ces approches réduisent les effets indésirables de préparation de 50 à 95 % tout en préservant la capacité du modèle à apprendre de nouvelles informations. Nos résultats fournissent à la fois des insights empiriques sur la manière dont les LLM apprennent et des outils pratiques pour améliorer la spécificité de l'insertion de connaissances dans les modèles de langage. Matériels supplémentaires : https://sunchipsster1.github.io/projects/outlandish/

English

Large language models learn and continually learn through the accumulation of gradient-based updates, but how individual pieces of new information affect existing knowledge, leading to both beneficial generalization and problematic hallucination, remains poorly understood. We demonstrate that when learning new information, LLMs exhibit a "priming" effect: learning a new fact can cause the model to inappropriately apply that knowledge in unrelated contexts. To systematically study this phenomenon, we introduce "Outlandish," a carefully curated dataset of 1320 diverse text samples designed to probe how new knowledge permeates through an LLM's existing knowledge base. Using this dataset, we show that the degree of priming after learning new information can be predicted by measuring the token probability of key words before learning. This relationship holds robustly across different model architectures (PALM-2, Gemma, Llama), sizes, and training stages. Finally, we develop two novel techniques to modulate how new knowledge affects existing model behavior: (1) a ``stepping-stone'' text augmentation strategy and (2) an ``ignore-k'' update pruning method. These approaches reduce undesirable priming effects by 50-95\% while preserving the model's ability to learn new information. Our findings provide both empirical insights into how LLMs learn and practical tools for improving the specificity of knowledge insertion in language models. Further materials: https://sunchipsster1.github.io/projects/outlandish/