Speicher-Caching: RNNs mit wachsendem Gedächtnis
Memory Caching: RNNs with Growing Memory
February 27, 2026
Autoren: Ali Behrouz, Zeman Li, Yuan Deng, Peilin Zhong, Meisam Razaviyayn, Vahab Mirrokni
cs.AI
Zusammenfassung
Transformer haben sich als de-facto Grundbausteine für die meisten jüngsten Fortschritte im Bereich der Sequenzmodellierung etabliert, hauptsächlich aufgrund ihrer wachsenden Speicherkapazität, die mit der Kontextlänge skaliert. Obwohl dies für Retrieval-Aufgaben plausibel ist, führt es zu quadratischer Komplexität und hat daher neuere Studien motiviert, praktikable subquadratische rekurrente Alternativen zu erforschen. Trotz vielversprechender vorläufiger Ergebnisse in verschiedenen Domänen, schneiden solche rekurrenten Architekturen bei recall-intensiven Aufgaben schlechter ab als Transformer, was oft auf ihren Speicher mit fester Größe zurückgeführt wird. In dieser Arbeit stellen wir Memory Caching (MC) vor, eine einfache, aber effektive Technik, die rekurrente Modelle verbessert, indem Checkpoints ihrer Speicherzustände (auch bekannt als versteckte Zustände) zwischengespeichert werden. Memory Caching ermöglicht es, dass die effektive Speicherkapazität von RNNs mit der Sequenzlänge wächst, und bietet einen flexiblen Kompromiss, der zwischen dem festen Speicher (d.h. O(L)-Komplexität) von RNNs und dem wachsenden Speicher (d.h. O(L²)-Komplexität) von Transformern interpoliert. Wir schlagen vier Varianten von MC vor, einschließlich gegatterter Aggregation und sparsamer selektiver Mechanismen, und diskutieren ihre Auswirkungen sowohl auf lineare als auch auf tiefe Speichermodule. Unsere experimentellen Ergebnisse zu Sprachmodellierung und Aufgaben zum Verständnis langer Kontexte zeigen, dass MC die Leistung rekurrenter Modelle verbessert und seine Wirksamkeit bestätigt. Die Ergebnisse von In-Context-Recall-Aufgaben deuten darauf hin, dass während Transformer die beste Genauigkeit erreichen, unsere MC-Varianten eine wettbewerbsfähige Leistung zeigen, die Lücke zu Transformern verkleinern und besser abschneiden als state-of-the-art rekurrente Modelle.
English
Transformers have been established as the de-facto backbones for most recent advances in sequence modeling, mainly due to their growing memory capacity that scales with the context length. While plausible for retrieval tasks, it causes quadratic complexity and so has motivated recent studies to explore viable subquadratic recurrent alternatives. Despite showing promising preliminary results in diverse domains, such recurrent architectures underperform Transformers in recall-intensive tasks, often attributed to their fixed-size memory. In this paper, we introduce Memory Caching (MC), a simple yet effective technique that enhances recurrent models by caching checkpoints of their memory states (a.k.a. hidden states). Memory Caching allows the effective memory capacity of RNNs to grow with sequence length, offering a flexible trade-off that interpolates between the fixed memory (i.e., O(L) complexity) of RNNs and the growing memory (i.e., O(L^2) complexity) of Transformers. We propose four variants of MC, including gated aggregation and sparse selective mechanisms, and discuss their implications on both linear and deep memory modules. Our experimental results on language modeling, and long-context understanding tasks show that MC enhances the performance of recurrent models, supporting its effectiveness. The results of in-context recall tasks indicate that while Transformers achieve the best accuracy, our MC variants show competitive performance, close the gap with Transformers, and performs better than state-of-the-art recurrent models.