メモリキャッシング：成長するメモリを持つRNN

Memory Caching: RNNs with Growing Memory

February 27, 2026

著者: Ali Behrouz, Zeman Li, Yuan Deng, Peilin Zhong, Meisam Razaviyayn, Vahab Mirrokni

cs.AI

要旨

Transformerは、文脈長に比例して拡大するメモリ容量のため、系列モデリングにおける最近の進歩の大半において事実上の基盤モデルとして確立されている。検索タスクには適しているものの、二次の計算量を要するため、近年では実行可能な準二次のリカレント代替モデルの探求が進められている。様々な領域で有望な予備結果を示すものの、こうしたリカレント構造は固定サイズのメモリが原因で、想起を要するタスクではTransformerを下回る性能となる。本論文では、メモリ状態（隠れ状態）のチェックポイントをキャッシュする、単純かつ効果的な技術であるMemory Caching（MC）を提案する。Memory Cachingにより、RNNの実効メモリ容量は系列長に応じて拡大し、RNNの固定メモリ（すなわちO(L)の計算量）とTransformerの拡張メモリ（すなわちO(L^2)の計算量）の間を補間する柔軟なトレードオフを実現する。ゲート付き集約や疎選択メカニズムを含む4つのMC変種を提案し、線形および深層メモリモジュールへの影響を考察する。言語モデリングおよび長文脈理解タスクにおける実験結果は、MCがリカレントモデルの性能を向上させ、その有効性を支持することを示している。文脈内想起タスクの結果では、Transformerが最高精度を達成する一方、我々のMC変種は競争力のある性能を示し、Transformerとの差を縮め、最先端のリカレントモデルを上回る性能を発揮した。

English

Transformers have been established as the de-facto backbones for most recent advances in sequence modeling, mainly due to their growing memory capacity that scales with the context length. While plausible for retrieval tasks, it causes quadratic complexity and so has motivated recent studies to explore viable subquadratic recurrent alternatives. Despite showing promising preliminary results in diverse domains, such recurrent architectures underperform Transformers in recall-intensive tasks, often attributed to their fixed-size memory. In this paper, we introduce Memory Caching (MC), a simple yet effective technique that enhances recurrent models by caching checkpoints of their memory states (a.k.a. hidden states). Memory Caching allows the effective memory capacity of RNNs to grow with sequence length, offering a flexible trade-off that interpolates between the fixed memory (i.e., O(L) complexity) of RNNs and the growing memory (i.e., O(L^2) complexity) of Transformers. We propose four variants of MC, including gated aggregation and sparse selective mechanisms, and discuss their implications on both linear and deep memory modules. Our experimental results on language modeling, and long-context understanding tasks show that MC enhances the performance of recurrent models, supporting its effectiveness. The results of in-context recall tasks indicate that while Transformers achieve the best accuracy, our MC variants show competitive performance, close the gap with Transformers, and performs better than state-of-the-art recurrent models.