Recuperação e Consolidação de Memória em Modelos de Linguagem de Grande Escala por meio de Tokens de Função

Memory Retrieval and Consolidation in Large Language Models through Function Tokens

October 9, 2025

Autores: Shaohua Zhang, Yuan Lin, Hang Li

cs.AI

Resumo

O sucesso notável dos grandes modelos de linguagem (LLMs) decorre de sua capacidade de consolidar vastas quantidades de conhecimento na memória durante o pré-treinamento e de recuperá-la da memória durante a inferência, permitindo capacidades avançadas, como memorização de conhecimento, seguimento de instruções e raciocínio. No entanto, os mecanismos de recuperação e consolidação da memória em LLMs permanecem pouco compreendidos. Neste artigo, propomos a hipótese do token de função para explicar o funcionamento dos LLMs: durante a inferência, os tokens de função ativam as características mais preditivas do contexto e governam a previsão do próximo token (recuperação da memória). Durante o pré-treinamento, prever os próximos tokens (geralmente tokens de conteúdo) que seguem os tokens de função aumenta o número de características aprendidas pelos LLMs e atualiza os parâmetros do modelo (consolidação da memória). Aqui, os tokens de função correspondem aproximadamente às palavras funcionais na linguística, incluindo marcas de pontuação, artigos, preposições e conjunções, em contraste com os tokens de conteúdo. Fornecemos ampla evidência experimental que apoia essa hipótese. Usando análise de grafos bipartidos, mostramos que um pequeno número de tokens de função ativa a maioria das características. Estudos de caso revelam ainda como os tokens de função ativam as características mais preditivas do contexto para direcionar a previsão do próximo token. Também descobrimos que, durante o pré-treinamento, a perda de treinamento é dominada pela previsão dos próximos tokens de conteúdo que seguem os tokens de função, o que força os tokens de função a selecionar as características mais preditivas do contexto.

English

The remarkable success of large language models (LLMs) stems from their ability to consolidate vast amounts of knowledge into the memory during pre-training and to retrieve it from the memory during inference, enabling advanced capabilities such as knowledge memorization, instruction-following and reasoning. However, the mechanisms of memory retrieval and consolidation in LLMs remain poorly understood. In this paper, we propose the function token hypothesis to explain the workings of LLMs: During inference, function tokens activate the most predictive features from context and govern next token prediction (memory retrieval). During pre-training, predicting the next tokens (usually content tokens) that follow function tokens increases the number of learned features of LLMs and updates the model parameters (memory consolidation). Function tokens here roughly correspond to function words in linguistics, including punctuation marks, articles, prepositions, and conjunctions, in contrast to content tokens. We provide extensive experimental evidence supporting this hypothesis. Using bipartite graph analysis, we show that a small number of function tokens activate the majority of features. Case studies further reveal how function tokens activate the most predictive features from context to direct next token prediction. We also find that during pre-training, the training loss is dominated by predicting the next content tokens following function tokens, which forces the function tokens to select the most predictive features from context.