Speicherrückgewinnung und Konsolidierung in großen Sprachmodellen durch Funktionstoken

Memory Retrieval and Consolidation in Large Language Models through Function Tokens

October 9, 2025

papers.authors: Shaohua Zhang, Yuan Lin, Hang Li

cs.AI

papers.abstract

Der bemerkenswerte Erfolg großer Sprachmodelle (LLMs) resultiert aus ihrer Fähigkeit, während des Vortrainings umfangreiches Wissen im Gedächtnis zu konsolidieren und es während der Inferenz aus dem Gedächtnis abzurufen, wodurch fortgeschrittene Fähigkeiten wie Wissensspeicherung, Befolgung von Anweisungen und logisches Denken ermöglicht werden. Die Mechanismen der Gedächtnisabfrage und -konsolidierung in LLMs sind jedoch noch weitgehend unverstanden. In diesem Artikel schlagen wir die Funktionstoken-Hypothese vor, um die Funktionsweise von LLMs zu erklären: Während der Inferenz aktivieren Funktionstoken die prädiktivsten Merkmale aus dem Kontext und steuern die Vorhersage des nächsten Tokens (Gedächtnisabfrage). Während des Vortrainings erhöht die Vorhersage der nächsten Token (in der Regel Inhalts-Token), die auf Funktionstoken folgen, die Anzahl der gelernten Merkmale der LLMs und aktualisiert die Modellparameter (Gedächtniskonsolidierung). Funktionstoken entsprechen hier grob den Funktionswörtern in der Linguistik, einschließlich Satzzeichen, Artikeln, Präpositionen und Konjunktionen, im Gegensatz zu Inhalts-Token. Wir liefern umfangreiche experimentelle Belege, die diese Hypothese stützen. Mithilfe einer bipartiten Graphenanalyse zeigen wir, dass eine kleine Anzahl von Funktionstoken die Mehrheit der Merkmale aktiviert. Fallstudien verdeutlichen weiter, wie Funktionstoken die prädiktivsten Merkmale aus dem Kontext aktivieren, um die Vorhersage des nächsten Tokens zu lenken. Wir stellen außerdem fest, dass während des Vortrainings der Trainingsverlust hauptsächlich durch die Vorhersage der nächsten Inhalts-Token, die auf Funktionstoken folgen, dominiert wird, was die Funktionstoken dazu zwingt, die prädiktivsten Merkmale aus dem Kontext auszuwählen.

English

The remarkable success of large language models (LLMs) stems from their ability to consolidate vast amounts of knowledge into the memory during pre-training and to retrieve it from the memory during inference, enabling advanced capabilities such as knowledge memorization, instruction-following and reasoning. However, the mechanisms of memory retrieval and consolidation in LLMs remain poorly understood. In this paper, we propose the function token hypothesis to explain the workings of LLMs: During inference, function tokens activate the most predictive features from context and govern next token prediction (memory retrieval). During pre-training, predicting the next tokens (usually content tokens) that follow function tokens increases the number of learned features of LLMs and updates the model parameters (memory consolidation). Function tokens here roughly correspond to function words in linguistics, including punctuation marks, articles, prepositions, and conjunctions, in contrast to content tokens. We provide extensive experimental evidence supporting this hypothesis. Using bipartite graph analysis, we show that a small number of function tokens activate the majority of features. Case studies further reveal how function tokens activate the most predictive features from context to direct next token prediction. We also find that during pre-training, the training loss is dominated by predicting the next content tokens following function tokens, which forces the function tokens to select the most predictive features from context.