Cache de Memória: RNNs com Memória Crescente
Memory Caching: RNNs with Growing Memory
February 27, 2026
Autores: Ali Behrouz, Zeman Li, Yuan Deng, Peilin Zhong, Meisam Razaviyayn, Vahab Mirrokni
cs.AI
Resumo
Os Transformers consolidaram-se como as arquiteturas de base padrão para a maioria dos avanços recentes na modelagem de sequências, principalmente devido à sua crescente capacidade de memória, que escala com o comprimento do contexto. Embora plausível para tarefas de recuperação de informação, isto causa uma complexidade quadrática, o que motivou estudos recentes a explorar alternativas recorrentes viáveis com complexidade subquadrática. Apesar de mostrarem resultados preliminares promissores em diversos domínios, tais arquiteturas recorrentes têm um desempenho inferior ao dos Transformers em tarefas intensivas em recuperação (recall), facto frequentemente atribuído à sua memória de tamanho fixo. Neste artigo, introduzimos o Cache de Memória (MC), uma técnica simples mas eficaz que melhora os modelos recorrentes através da criação de pontos de verificação (checkpoints) dos seus estados de memória (também conhecidos como estados ocultos). O Cache de Memória permite que a capacidade efetiva de memória das RNNs cresça com o comprimento da sequência, oferecendo um compromisso flexível que interpola entre a memória fixa (i.e., complexidade O(L)) das RNNs e a memória crescente (i.e., complexidade O(L²)) dos Transformers. Propomos quatro variantes de MC, incluindo mecanismos de agregação com portão (gated) e mecanismos esparsos seletivos, e discutimos as suas implicações tanto em módulos de memória lineares como profundos. Os nossos resultados experimentais em modelação de linguagem e tarefas de compreensão de contexto longo mostram que o MC melhora o desempenho dos modelos recorrentes, suportando a sua eficácia. Os resultados em tarefas de recuperação em contexto (in-context recall) indicam que, embora os Transformers atinjam a melhor precisão, as nossas variantes de MC apresentam um desempenho competitivo, aproximam-se do desempenho dos Transformers e superam os modelos recorrentes mais avançados do estado da arte.
English
Transformers have been established as the de-facto backbones for most recent advances in sequence modeling, mainly due to their growing memory capacity that scales with the context length. While plausible for retrieval tasks, it causes quadratic complexity and so has motivated recent studies to explore viable subquadratic recurrent alternatives. Despite showing promising preliminary results in diverse domains, such recurrent architectures underperform Transformers in recall-intensive tasks, often attributed to their fixed-size memory. In this paper, we introduce Memory Caching (MC), a simple yet effective technique that enhances recurrent models by caching checkpoints of their memory states (a.k.a. hidden states). Memory Caching allows the effective memory capacity of RNNs to grow with sequence length, offering a flexible trade-off that interpolates between the fixed memory (i.e., O(L) complexity) of RNNs and the growing memory (i.e., O(L^2) complexity) of Transformers. We propose four variants of MC, including gated aggregation and sparse selective mechanisms, and discuss their implications on both linear and deep memory modules. Our experimental results on language modeling, and long-context understanding tasks show that MC enhances the performance of recurrent models, supporting its effectiveness. The results of in-context recall tasks indicate that while Transformers achieve the best accuracy, our MC variants show competitive performance, close the gap with Transformers, and performs better than state-of-the-art recurrent models.