I Transformers sono RNN a Multi-Stato.

Transformers are Multi-State RNNs

January 11, 2024

Autori: Matanel Oren, Michael Hassid, Yossi Adi, Roy Schwartz

cs.AI

Abstract

I Transformer sono considerati concettualmente diversi rispetto alla precedente generazione di modelli NLP all'avanguardia - le reti neurali ricorrenti (RNN). In questo lavoro, dimostriamo che i Transformer con solo decoder possono in realtà essere concettualizzati come RNN multi-stato infinite - una variante di RNN con dimensione illimitata dello stato nascosto. Mostriamo inoltre che i Transformer pre-addestrati possono essere convertiti in RNN multi-stato finite fissando la dimensione del loro stato nascosto. Osserviamo che diverse tecniche esistenti di compressione della cache dei Transformer possono essere inquadrate come tali politiche di conversione, e introduciamo una nuova politica, TOVA, che è più semplice rispetto a queste politiche. I nostri esperimenti con diversi task a lungo raggio indicano che TOVA supera tutte le altre politiche di riferimento, pur essendo quasi alla pari con il modello completo (infinito), e utilizzando in alcuni casi solo 1/8 della dimensione originale della cache. I nostri risultati indicano che i modelli linguistici con decoder Transformer spesso si comportano nella pratica come RNN. Essi delineano inoltre la possibilità di mitigare uno dei loro più dolorosi colli di bottiglia computazionali - la dimensione della loro memoria cache. Rilasciamo pubblicamente il nostro codice all'indirizzo https://github.com/schwartz-lab-NLP/TOVA.

English

Transformers are considered conceptually different compared to the previous generation of state-of-the-art NLP models - recurrent neural networks (RNNs). In this work, we demonstrate that decoder-only transformers can in fact be conceptualized as infinite multi-state RNNs - an RNN variant with unlimited hidden state size. We further show that pretrained transformers can be converted into finite multi-state RNNs by fixing the size of their hidden state. We observe that several existing transformers cache compression techniques can be framed as such conversion policies, and introduce a novel policy, TOVA, which is simpler compared to these policies. Our experiments with several long range tasks indicate that TOVA outperforms all other baseline policies, while being nearly on par with the full (infinite) model, and using in some cases only 1{8} of the original cache size. Our results indicate that transformer decoder LLMs often behave in practice as RNNs. They also lay out the option of mitigating one of their most painful computational bottlenecks - the size of their cache memory. We publicly release our code at https://github.com/schwartz-lab-NLP/TOVA.