Извлечение и консолидация памяти в крупных языковых моделях с использованием функциональных токенов

Memory Retrieval and Consolidation in Large Language Models through Function Tokens

October 9, 2025

Авторы: Shaohua Zhang, Yuan Lin, Hang Li

cs.AI

Аннотация

Успех крупных языковых моделей (LLMs) обусловлен их способностью консолидировать огромные объемы знаний в памяти в процессе предварительного обучения и извлекать их из памяти во время вывода, что обеспечивает такие продвинутые возможности, как запоминание знаний, выполнение инструкций и логическое рассуждение. Однако механизмы извлечения и консолидации памяти в LLMs остаются малоизученными. В данной статье мы предлагаем гипотезу функциональных токенов для объяснения работы LLMs: во время вывода функциональные токены активируют наиболее предсказуемые признаки из контекста и управляют предсказанием следующего токена (извлечение памяти). В процессе предварительного обучения предсказание следующих токенов (обычно контентных токенов), следующих за функциональными токенами, увеличивает количество изученных признаков LLMs и обновляет параметры модели (консолидация памяти). Функциональные токены здесь примерно соответствуют функциональным словам в лингвистике, включая знаки препинания, артикли, предлоги и союзы, в отличие от контентных токенов. Мы предоставляем обширные экспериментальные доказательства, подтверждающие эту гипотезу. Используя анализ двудольных графов, мы показываем, что небольшое количество функциональных токенов активирует большинство признаков. Кейс-стади дополнительно раскрывают, как функциональные токены активируют наиболее предсказуемые признаки из контекста для направления предсказания следующего токена. Мы также обнаружили, что в процессе предварительного обучения ошибка обучения в основном определяется предсказанием следующих контентных токенов, следующих за функциональными токенами, что заставляет функциональные токены выбирать наиболее предсказуемые признаки из контекста.

English

The remarkable success of large language models (LLMs) stems from their ability to consolidate vast amounts of knowledge into the memory during pre-training and to retrieve it from the memory during inference, enabling advanced capabilities such as knowledge memorization, instruction-following and reasoning. However, the mechanisms of memory retrieval and consolidation in LLMs remain poorly understood. In this paper, we propose the function token hypothesis to explain the workings of LLMs: During inference, function tokens activate the most predictive features from context and govern next token prediction (memory retrieval). During pre-training, predicting the next tokens (usually content tokens) that follow function tokens increases the number of learned features of LLMs and updates the model parameters (memory consolidation). Function tokens here roughly correspond to function words in linguistics, including punctuation marks, articles, prepositions, and conjunctions, in contrast to content tokens. We provide extensive experimental evidence supporting this hypothesis. Using bipartite graph analysis, we show that a small number of function tokens activate the majority of features. Case studies further reveal how function tokens activate the most predictive features from context to direct next token prediction. We also find that during pre-training, the training loss is dominated by predicting the next content tokens following function tokens, which forces the function tokens to select the most predictive features from context.