Geheugencaching: RNN's met groeiend geheugen
Memory Caching: RNNs with Growing Memory
February 27, 2026
Auteurs: Ali Behrouz, Zeman Li, Yuan Deng, Peilin Zhong, Meisam Razaviyayn, Vahab Mirrokni
cs.AI
Samenvatting
Transformers zijn gevestigd als de de facto ruggengraat voor de meeste recente ontwikkelingen in sequentiemodellering, voornamelijk vanwege hun toenemende geheugencapaciteit die schaalt met de contextlengte. Hoewel dit plausibel is voor retrievaltaken, leidt het tot kwadratische complexiteit, wat recente studies heeft gemotiveerd om levensvatbare subkwadratische recurrent alternatieven te verkennen. Ondanks veelbelovende voorlopige resultaten in diverse domeinen, presteren dergelijke recurrente architecturen minder goed dan Transformers in recall-intensieve taken, wat vaak wordt toegeschreven aan hun geheugen met vaste grootte. In dit artikel introduceren we Memory Caching (MC), een eenvoudige maar effectieve techniek die recurrente modellen verbetert door checkpoints van hun geheugentoestanden (ook wel verborgen toestanden genoemd) op te slaan. Memory Caching stelt het effectieve geheugencapaciteit van RNN's in staat om te groeien met de sequentielengte, en biedt een flexibele afweging die interpoleert tussen het vaste geheugen (d.w.z. O(L) complexiteit) van RNN's en het groeiende geheugen (d.w.z. O(L²) complexiteit) van Transformers. We stellen vier varianten van MC voor, waaronder gegateerde aggregatie en sparse selectiemechanismen, en bespreken hun implicaties voor zowel lineaire als diepe geheugenmodules. Onze experimentele resultaten voor taalmodelering en taken voor het begrijpen van lange context tonen aan dat MC de prestaties van recurrente modellen verbetert, wat de effectiviteit ervan ondersteunt. De resultaten van in-context recalltaken geven aan dat hoewel Transformers de beste nauwkeurigheid bereiken, onze MC-varianten competitieve prestaties vertonen, de kloof met Transformers verkleinen, en beter presteren dan state-of-the-art recurrente modellen.
English
Transformers have been established as the de-facto backbones for most recent advances in sequence modeling, mainly due to their growing memory capacity that scales with the context length. While plausible for retrieval tasks, it causes quadratic complexity and so has motivated recent studies to explore viable subquadratic recurrent alternatives. Despite showing promising preliminary results in diverse domains, such recurrent architectures underperform Transformers in recall-intensive tasks, often attributed to their fixed-size memory. In this paper, we introduce Memory Caching (MC), a simple yet effective technique that enhances recurrent models by caching checkpoints of their memory states (a.k.a. hidden states). Memory Caching allows the effective memory capacity of RNNs to grow with sequence length, offering a flexible trade-off that interpolates between the fixed memory (i.e., O(L) complexity) of RNNs and the growing memory (i.e., O(L^2) complexity) of Transformers. We propose four variants of MC, including gated aggregation and sparse selective mechanisms, and discuss their implications on both linear and deep memory modules. Our experimental results on language modeling, and long-context understanding tasks show that MC enhances the performance of recurrent models, supporting its effectiveness. The results of in-context recall tasks indicate that while Transformers achieve the best accuracy, our MC variants show competitive performance, close the gap with Transformers, and performs better than state-of-the-art recurrent models.