Recupero della Memoria e Consolidamento nei Modelli Linguistici di Grande Scala attraverso Token Funzionali

Memory Retrieval and Consolidation in Large Language Models through Function Tokens

October 9, 2025

Autori: Shaohua Zhang, Yuan Lin, Hang Li

cs.AI

Abstract

Il notevole successo dei grandi modelli linguistici (LLM) deriva dalla loro capacità di consolidare grandi quantità di conoscenza nella memoria durante la fase di pre-addestramento e di recuperarla dalla memoria durante l'inferenza, abilitando funzionalità avanzate come la memorizzazione della conoscenza, il seguire istruzioni e il ragionamento. Tuttavia, i meccanismi di recupero e consolidamento della memoria negli LLM rimangono poco compresi. In questo articolo, proponiamo l'ipotesi del token di funzione per spiegare il funzionamento degli LLM: durante l'inferenza, i token di funzione attivano le caratteristiche più predittive dal contesto e governano la previsione del token successivo (recupero della memoria). Durante il pre-addestramento, la previsione dei token successivi (solitamente token di contenuto) che seguono i token di funzione aumenta il numero di caratteristiche apprese dagli LLM e aggiorna i parametri del modello (consolidamento della memoria). I token di funzione qui corrispondono approssimativamente alle parole funzionali in linguistica, inclusi segni di punteggiatura, articoli, preposizioni e congiunzioni, in contrasto con i token di contenuto. Forniamo ampie prove sperimentali a supporto di questa ipotesi. Utilizzando l'analisi di grafi bipartiti, mostriamo che un piccolo numero di token di funzione attiva la maggior parte delle caratteristiche. Studi di caso rivelano ulteriormente come i token di funzione attivino le caratteristiche più predittive dal contesto per dirigere la previsione del token successivo. Troviamo inoltre che durante il pre-addestramento, la perdita di addestramento è dominata dalla previsione dei token di contenuto successivi ai token di funzione, il che costringe i token di funzione a selezionare le caratteristiche più predittive dal contesto.

English

The remarkable success of large language models (LLMs) stems from their ability to consolidate vast amounts of knowledge into the memory during pre-training and to retrieve it from the memory during inference, enabling advanced capabilities such as knowledge memorization, instruction-following and reasoning. However, the mechanisms of memory retrieval and consolidation in LLMs remain poorly understood. In this paper, we propose the function token hypothesis to explain the workings of LLMs: During inference, function tokens activate the most predictive features from context and govern next token prediction (memory retrieval). During pre-training, predicting the next tokens (usually content tokens) that follow function tokens increases the number of learned features of LLMs and updates the model parameters (memory consolidation). Function tokens here roughly correspond to function words in linguistics, including punctuation marks, articles, prepositions, and conjunctions, in contrast to content tokens. We provide extensive experimental evidence supporting this hypothesis. Using bipartite graph analysis, we show that a small number of function tokens activate the majority of features. Case studies further reveal how function tokens activate the most predictive features from context to direct next token prediction. We also find that during pre-training, the training loss is dominated by predicting the next content tokens following function tokens, which forces the function tokens to select the most predictive features from context.