Recuperación y Consolidación de la Memoria en Modelos de Lenguaje de Gran Escala mediante Tokens de Función

Memory Retrieval and Consolidation in Large Language Models through Function Tokens

October 9, 2025

Autores: Shaohua Zhang, Yuan Lin, Hang Li

cs.AI

Resumen

El notable éxito de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) se debe a su capacidad para consolidar grandes cantidades de conocimiento en la memoria durante el preentrenamiento y para recuperarlo de la memoria durante la inferencia, lo que permite capacidades avanzadas como la memorización de conocimiento, el seguimiento de instrucciones y el razonamiento. Sin embargo, los mecanismos de recuperación y consolidación de la memoria en los LLMs siguen siendo poco comprendidos. En este artículo, proponemos la hipótesis del token funcional para explicar el funcionamiento de los LLMs: durante la inferencia, los tokens funcionales activan las características más predictivas del contexto y gobiernan la predicción del siguiente token (recuperación de la memoria). Durante el preentrenamiento, predecir los siguientes tokens (generalmente tokens de contenido) que siguen a los tokens funcionales aumenta el número de características aprendidas por los LLMs y actualiza los parámetros del modelo (consolidación de la memoria). Los tokens funcionales aquí corresponden aproximadamente a las palabras funcionales en lingüística, incluyendo signos de puntuación, artículos, preposiciones y conjunciones, en contraste con los tokens de contenido. Proporcionamos amplia evidencia experimental que respalda esta hipótesis. Utilizando análisis de grafos bipartitos, demostramos que un pequeño número de tokens funcionales activa la mayoría de las características. Estudios de caso revelan además cómo los tokens funcionales activan las características más predictivas del contexto para dirigir la predicción del siguiente token. También encontramos que, durante el preentrenamiento, la pérdida de entrenamiento está dominada por la predicción de los siguientes tokens de contenido que siguen a los tokens funcionales, lo que obliga a estos tokens a seleccionar las características más predictivas del contexto.

English

The remarkable success of large language models (LLMs) stems from their ability to consolidate vast amounts of knowledge into the memory during pre-training and to retrieve it from the memory during inference, enabling advanced capabilities such as knowledge memorization, instruction-following and reasoning. However, the mechanisms of memory retrieval and consolidation in LLMs remain poorly understood. In this paper, we propose the function token hypothesis to explain the workings of LLMs: During inference, function tokens activate the most predictive features from context and govern next token prediction (memory retrieval). During pre-training, predicting the next tokens (usually content tokens) that follow function tokens increases the number of learned features of LLMs and updates the model parameters (memory consolidation). Function tokens here roughly correspond to function words in linguistics, including punctuation marks, articles, prepositions, and conjunctions, in contrast to content tokens. We provide extensive experimental evidence supporting this hypothesis. Using bipartite graph analysis, we show that a small number of function tokens activate the majority of features. Case studies further reveal how function tokens activate the most predictive features from context to direct next token prediction. We also find that during pre-training, the training loss is dominated by predicting the next content tokens following function tokens, which forces the function tokens to select the most predictive features from context.