Récupération et consolidation de la mémoire dans les grands modèles de langage via des tokens fonctionnels

Memory Retrieval and Consolidation in Large Language Models through Function Tokens

October 9, 2025

papers.authors: Shaohua Zhang, Yuan Lin, Hang Li

cs.AI

papers.abstract

Le succès remarquable des grands modèles de langage (LLMs) découle de leur capacité à consolider de vastes quantités de connaissances dans leur mémoire pendant le pré-entraînement et à les récupérer de cette mémoire lors de l'inférence, permettant ainsi des capacités avancées telles que la mémorisation de connaissances, le suivi d'instructions et le raisonnement. Cependant, les mécanismes de récupération et de consolidation de la mémoire dans les LLMs restent mal compris. Dans cet article, nous proposons l'hypothèse des tokens fonctionnels pour expliquer le fonctionnement des LLMs : pendant l'inférence, les tokens fonctionnels activent les caractéristiques les plus prédictives à partir du contexte et gouvernent la prédiction du token suivant (récupération de la mémoire). Pendant le pré-entraînement, la prédiction des tokens suivants (généralement des tokens de contenu) qui suivent les tokens fonctionnels augmente le nombre de caractéristiques apprises par les LLMs et met à jour les paramètres du modèle (consolidation de la mémoire). Les tokens fonctionnels correspondent ici approximativement aux mots fonctionnels en linguistique, y compris les signes de ponctuation, les articles, les prépositions et les conjonctions, par opposition aux tokens de contenu. Nous fournissons de nombreuses preuves expérimentales soutenant cette hypothèse. En utilisant l'analyse de graphes bipartis, nous montrons qu'un petit nombre de tokens fonctionnels active la majorité des caractéristiques. Des études de cas révèlent en outre comment les tokens fonctionnels activent les caractéristiques les plus prédictives à partir du contexte pour orienter la prédiction du token suivant. Nous constatons également que pendant le pré-entraînement, la perte d'entraînement est dominée par la prédiction des tokens de contenu suivants après les tokens fonctionnels, ce qui force les tokens fonctionnels à sélectionner les caractéristiques les plus prédictives à partir du contexte.

English

The remarkable success of large language models (LLMs) stems from their ability to consolidate vast amounts of knowledge into the memory during pre-training and to retrieve it from the memory during inference, enabling advanced capabilities such as knowledge memorization, instruction-following and reasoning. However, the mechanisms of memory retrieval and consolidation in LLMs remain poorly understood. In this paper, we propose the function token hypothesis to explain the workings of LLMs: During inference, function tokens activate the most predictive features from context and govern next token prediction (memory retrieval). During pre-training, predicting the next tokens (usually content tokens) that follow function tokens increases the number of learned features of LLMs and updates the model parameters (memory consolidation). Function tokens here roughly correspond to function words in linguistics, including punctuation marks, articles, prepositions, and conjunctions, in contrast to content tokens. We provide extensive experimental evidence supporting this hypothesis. Using bipartite graph analysis, we show that a small number of function tokens activate the majority of features. Case studies further reveal how function tokens activate the most predictive features from context to direct next token prediction. We also find that during pre-training, the training loss is dominated by predicting the next content tokens following function tokens, which forces the function tokens to select the most predictive features from context.