Transformer sind Multi-Zustands-RNNs.

Transformers are Multi-State RNNs

January 11, 2024

Autoren: Matanel Oren, Michael Hassid, Yossi Adi, Roy Schwartz

cs.AI

Zusammenfassung

Transformer werden als konzeptionell anders betrachtet im Vergleich zur vorherigen Generation von State-of-the-Art-NLP-Modellen – rekurrenten neuronalen Netzen (RNNs). In dieser Arbeit zeigen wir, dass Decoder-only-Transformer tatsächlich als unendliche Multi-State-RNNs – eine RNN-Variante mit unbegrenzter Größe des verborgenen Zustands – konzeptualisiert werden können. Wir zeigen weiter, dass vortrainierte Transformer in endliche Multi-State-RNNs umgewandelt werden können, indem die Größe ihres verborgenen Zustands festgelegt wird. Wir beobachten, dass mehrere bestehende Techniken zur Komprimierung des Transformer-Caches als solche Umwandlungsstrategien formuliert werden können, und führen eine neue Strategie, TOVA, ein, die im Vergleich zu diesen Strategien einfacher ist. Unsere Experimente mit mehreren Aufgaben im Langbereich zeigen, dass TOVA alle anderen Baseline-Strategien übertrifft, während es nahezu auf dem Niveau des vollständigen (unendlichen) Modells liegt und in einigen Fällen nur 1/8 der ursprünglichen Cache-Größe verwendet. Unsere Ergebnisse deuten darauf hin, dass Transformer-Decoder-LLMs in der Praxis oft wie RNNs agieren. Sie eröffnen auch die Möglichkeit, einen ihrer schmerzhaftesten Rechenengpässe – die Größe ihres Cache-Speichers – zu mildern. Wir veröffentlichen unseren Code unter https://github.com/schwartz-lab-NLP/TOVA.

English

Transformers are considered conceptually different compared to the previous generation of state-of-the-art NLP models - recurrent neural networks (RNNs). In this work, we demonstrate that decoder-only transformers can in fact be conceptualized as infinite multi-state RNNs - an RNN variant with unlimited hidden state size. We further show that pretrained transformers can be converted into finite multi-state RNNs by fixing the size of their hidden state. We observe that several existing transformers cache compression techniques can be framed as such conversion policies, and introduce a novel policy, TOVA, which is simpler compared to these policies. Our experiments with several long range tasks indicate that TOVA outperforms all other baseline policies, while being nearly on par with the full (infinite) model, and using in some cases only 1{8} of the original cache size. Our results indicate that transformer decoder LLMs often behave in practice as RNNs. They also lay out the option of mitigating one of their most painful computational bottlenecks - the size of their cache memory. We publicly release our code at https://github.com/schwartz-lab-NLP/TOVA.