Кэширование памяти: РНС с растущей памятью

Memory Caching: RNNs with Growing Memory

February 27, 2026

Авторы: Ali Behrouz, Zeman Li, Yuan Deng, Peilin Zhong, Meisam Razaviyayn, Vahab Mirrokni

cs.AI

Аннотация

Трансформеры стали де-факто основой большинства современных достижений в моделировании последовательностей, главным образом благодаря их растущей ёмкости памяти, которая масштабируется с длиной контекста. Хотя это оправдано для задач поиска, это приводит к квадратичной сложности, что стимулировало недавние исследования по поиску жизнеспособных субквадратичных рекуррентных альтернатив. Несмотря на многообещающие предварительные результаты в различных областях, такие рекуррентные архитектуры уступают трансформерам в задачах, требующих интенсивного запоминания, что часто объясняется их памятью фиксированного размера. В данной статье мы представляем кэширование памяти (MC) — простой, но эффективный метод, который улучшает рекуррентные модели за счёт сохранения контрольных точек их состояний памяти (также известных как скрытые состояния). Кэширование памяти позволяет эффективной ёмкости памяти RNN расти с длиной последовательности, предлагая гибкий компромисс, интерполирующий между фиксированной памятью (т.е. сложностью O(L)) RNN и растущей памятью (т.е. сложностью O(L²)) трансформеров. Мы предлагаем четыре варианта MC, включая механизмы управляемой агрегации и разреженного выбора, и обсуждаем их влияние как на линейные, так и на глубокие модули памяти. Наши экспериментальные результаты по моделированию языка и задачам понимания длинного контекста показывают, что MC улучшает производительность рекуррентных моделей, подтверждая его эффективность. Результаты задач контекстного запоминания указывают на то, что хотя трансформеры достигают наилучшей точности, наши варианты MC демонстрируют конкурентную производительность, сокращают разрыв с трансформерами и превосходят современные рекуррентные модели.

English

Transformers have been established as the de-facto backbones for most recent advances in sequence modeling, mainly due to their growing memory capacity that scales with the context length. While plausible for retrieval tasks, it causes quadratic complexity and so has motivated recent studies to explore viable subquadratic recurrent alternatives. Despite showing promising preliminary results in diverse domains, such recurrent architectures underperform Transformers in recall-intensive tasks, often attributed to their fixed-size memory. In this paper, we introduce Memory Caching (MC), a simple yet effective technique that enhances recurrent models by caching checkpoints of their memory states (a.k.a. hidden states). Memory Caching allows the effective memory capacity of RNNs to grow with sequence length, offering a flexible trade-off that interpolates between the fixed memory (i.e., O(L) complexity) of RNNs and the growing memory (i.e., O(L^2) complexity) of Transformers. We propose four variants of MC, including gated aggregation and sparse selective mechanisms, and discuss their implications on both linear and deep memory modules. Our experimental results on language modeling, and long-context understanding tasks show that MC enhances the performance of recurrent models, supporting its effectiveness. The results of in-context recall tasks indicate that while Transformers achieve the best accuracy, our MC variants show competitive performance, close the gap with Transformers, and performs better than state-of-the-art recurrent models.