Caché de Memoria: RNNs con Memoria Creciente
Memory Caching: RNNs with Growing Memory
February 27, 2026
Autores: Ali Behrouz, Zeman Li, Yuan Deng, Peilin Zhong, Meisam Razaviyayn, Vahab Mirrokni
cs.AI
Resumen
Los Transformers se han establecido como los pilares de facto para la mayoría de los avances recientes en el modelado de secuencias, principalmente debido a su creciente capacidad de memoria que escala con la longitud del contexto. Aunque es plausible para tareas de recuperación, esto provoca una complejidad cuadrática, lo que ha motivado a estudios recientes a explorar alternativas recurrentes viables subcuadráticas. A pesar de mostrar resultados preliminares prometedores en diversos dominios, dichas arquitecturas recurrentes tienen un rendimiento inferior al de los Transformers en tareas intensivas en recuperación, lo que a menudo se atribuye a su memoria de tamaño fijo. En este artículo, presentamos *Memory Caching* (MC), una técnica simple pero efectiva que mejora los modelos recurrentes almacenando en caché puntos de control de sus estados de memoria (también conocidos como estados ocultos). Memory Caching permite que la capacidad de memoria efectiva de las RNN crezca con la longitud de la secuencia, ofreciendo una compensación flexible que interpola entre la memoria fija (es decir, complejidad O(L)) de las RNN y la memoria creciente (es decir, complejidad O(L²)) de los Transformers. Proponemos cuatro variantes de MC, que incluyen mecanismos de agregación con compuerta y selectivos dispersos, y discutimos sus implicaciones tanto en módulos de memoria lineales como profundos. Nuestros resultados experimentales en modelado de lenguaje y tareas de comprensión de contexto largo muestran que MC mejora el rendimiento de los modelos recurrentes, respaldando su efectividad. Los resultados de las tareas de recuperación en contexto indican que, si bien los Transformers logran la mejor precisión, nuestras variantes de MC muestran un rendimiento competitivo, reducen la brecha con los Transformers y superan a los modelos recurrentes más avanzados.
English
Transformers have been established as the de-facto backbones for most recent advances in sequence modeling, mainly due to their growing memory capacity that scales with the context length. While plausible for retrieval tasks, it causes quadratic complexity and so has motivated recent studies to explore viable subquadratic recurrent alternatives. Despite showing promising preliminary results in diverse domains, such recurrent architectures underperform Transformers in recall-intensive tasks, often attributed to their fixed-size memory. In this paper, we introduce Memory Caching (MC), a simple yet effective technique that enhances recurrent models by caching checkpoints of their memory states (a.k.a. hidden states). Memory Caching allows the effective memory capacity of RNNs to grow with sequence length, offering a flexible trade-off that interpolates between the fixed memory (i.e., O(L) complexity) of RNNs and the growing memory (i.e., O(L^2) complexity) of Transformers. We propose four variants of MC, including gated aggregation and sparse selective mechanisms, and discuss their implications on both linear and deep memory modules. Our experimental results on language modeling, and long-context understanding tasks show that MC enhances the performance of recurrent models, supporting its effectiveness. The results of in-context recall tasks indicate that while Transformers achieve the best accuracy, our MC variants show competitive performance, close the gap with Transformers, and performs better than state-of-the-art recurrent models.