Transformers zijn Multi-State RNN's.

Transformers are Multi-State RNNs

January 11, 2024

Auteurs: Matanel Oren, Michael Hassid, Yossi Adi, Roy Schwartz

cs.AI

Samenvatting

Transformers worden beschouwd als conceptueel verschillend vergeleken met de vorige generatie state-of-the-art NLP-modellen - recurrente neurale netwerken (RNN's). In dit werk tonen we aan dat decoder-only transformers in feite kunnen worden geconceptualiseerd als oneindige multi-state RNN's - een RNN-variant met een onbeperkte grootte van de verborgen toestand. We laten verder zien dat voorgetrainde transformers kunnen worden omgezet in eindige multi-state RNN's door de grootte van hun verborgen toestand vast te leggen. We observeren dat verschillende bestaande technieken voor het comprimeren van transformer-caches kunnen worden gezien als dergelijke conversiebeleidsregels, en introduceren een nieuw beleid, TOVA, dat eenvoudiger is vergeleken met deze beleidsregels. Onze experimenten met verschillende taken op lange termijn geven aan dat TOVA alle andere baseline-beleidsregels overtreft, terwijl het bijna op hetzelfde niveau presteert als het volledige (oneindige) model, en in sommige gevallen slechts 1{8} van de oorspronkelijke cache-grootte gebruikt. Onze resultaten geven aan dat transformer-decoder LLM's in de praktijk vaak gedragen als RNN's. Ze bieden ook de mogelijkheid om een van hun meest pijnlijke computationele knelpunten te verlichten - de grootte van hun cachegeheugen. We maken onze code openbaar beschikbaar op https://github.com/schwartz-lab-NLP/TOVA.

English

Transformers are considered conceptually different compared to the previous generation of state-of-the-art NLP models - recurrent neural networks (RNNs). In this work, we demonstrate that decoder-only transformers can in fact be conceptualized as infinite multi-state RNNs - an RNN variant with unlimited hidden state size. We further show that pretrained transformers can be converted into finite multi-state RNNs by fixing the size of their hidden state. We observe that several existing transformers cache compression techniques can be framed as such conversion policies, and introduce a novel policy, TOVA, which is simpler compared to these policies. Our experiments with several long range tasks indicate that TOVA outperforms all other baseline policies, while being nearly on par with the full (infinite) model, and using in some cases only 1{8} of the original cache size. Our results indicate that transformer decoder LLMs often behave in practice as RNNs. They also lay out the option of mitigating one of their most painful computational bottlenecks - the size of their cache memory. We publicly release our code at https://github.com/schwartz-lab-NLP/TOVA.