Cache di Memoria: RNN con Memoria Crescente

Abstract

I transformer sono diventati di fatto l'architettura di base per la maggior parte dei recenti progressi nella modellazione di sequenze, principalmente grazie alla loro crescente capacità di memoria che scala con la lunghezza del contesto. Sebbene ciò sia vantaggioso per compiti di recupero, comporta una complessità quadratica, motivando così studi recenti a esplorare alternative ricorrenti sub-quadratiche valide. Nonostante mostrino risultati preliminari promettenti in diversi domini, queste architetture ricorrenti sono inferiori ai transformer nei compiti ad alta intensità di richiamo, spesso a causa della loro memoria di dimensione fissa. In questo articolo, introduciamo il Memory Caching (MC), una tecnica semplice ma efficace che potenzia i modelli ricorrenti memorizzando checkpoint dei loro stati di memoria (detti anche stati nascosti). Il Memory Caching permette alla capacità di memoria effettiva delle RNN di crescere con la lunghezza della sequenza, offrendo un compromesso flessibile che interpola tra la memoria fissa (cioè complessità O(L)) delle RNN e la memoria crescente (cioè complessità O(L²)) dei transformer. Proponiamo quattro varianti di MC, inclusi meccanismi di aggregazione controllata (gated) e di selezione sparsa, e discutiamo le loro implicazioni sia per moduli di memoria lineari che profondi. I nostri risultati sperimentali sul modellamento del linguaggio e su compiti di comprensione a contesto lungo mostrano che MC migliora le prestazioni dei modelli ricorrenti, supportandone l'efficacia. I risultati dei compiti di richiamo in contesto (in-context recall) indicano che, sebbene i transformer raggiungano la migliore accuratezza, le nostre varianti MC mostrano prestazioni competitive, riducono il divario con i transformer e superano i modelli ricorrenti allo stato dell'arte.

English

Transformers have been established as the de-facto backbones for most recent advances in sequence modeling, mainly due to their growing memory capacity that scales with the context length. While plausible for retrieval tasks, it causes quadratic complexity and so has motivated recent studies to explore viable subquadratic recurrent alternatives. Despite showing promising preliminary results in diverse domains, such recurrent architectures underperform Transformers in recall-intensive tasks, often attributed to their fixed-size memory. In this paper, we introduce Memory Caching (MC), a simple yet effective technique that enhances recurrent models by caching checkpoints of their memory states (a.k.a. hidden states). Memory Caching allows the effective memory capacity of RNNs to grow with sequence length, offering a flexible trade-off that interpolates between the fixed memory (i.e., O(L) complexity) of RNNs and the growing memory (i.e., O(L^2) complexity) of Transformers. We propose four variants of MC, including gated aggregation and sparse selective mechanisms, and discuss their implications on both linear and deep memory modules. Our experimental results on language modeling, and long-context understanding tasks show that MC enhances the performance of recurrent models, supporting its effectiveness. The results of in-context recall tasks indicate that while Transformers achieve the best accuracy, our MC variants show competitive performance, close the gap with Transformers, and performs better than state-of-the-art recurrent models.

Cache di Memoria: RNN con Memoria Crescente

Memory Caching: RNNs with Growing Memory

Abstract

Support