Трансформеры являются многосостоятельными рекуррентными нейронными сетями.

Transformers are Multi-State RNNs

January 11, 2024

Авторы: Matanel Oren, Michael Hassid, Yossi Adi, Roy Schwartz

cs.AI

Аннотация

Трансформеры считаются концептуально отличными от предыдущего поколения передовых моделей обработки естественного языка (NLP) — рекуррентных нейронных сетей (RNN). В данной работе мы показываем, что декодер-трансформеры на самом деле можно концептуализировать как бесконечные многосостоятельные RNN — вариант RNN с неограниченным размером скрытого состояния. Мы также демонстрируем, что предобученные трансформеры можно преобразовать в конечные многосостоятельные RNN, фиксируя размер их скрытого состояния. Мы отмечаем, что несколько существующих методов сжатия кэша трансформеров можно рассматривать как такие стратегии преобразования, и представляем новую стратегию, TOVA, которая проще по сравнению с этими методами. Наши эксперименты с несколькими задачами на длинных последовательностях показывают, что TOVA превосходит все другие базовые стратегии, оставаясь практически на уровне полной (бесконечной) модели, и в некоторых случаях используя лишь 1/8 от исходного размера кэша. Наши результаты указывают на то, что декодер-трансформеры LLM на практике часто ведут себя как RNN. Они также открывают возможность смягчения одного из наиболее болезненных вычислительных узких мест — размера их кэш-памяти. Мы публикуем наш код по адресу https://github.com/schwartz-lab-NLP/TOVA.

English

Transformers are considered conceptually different compared to the previous generation of state-of-the-art NLP models - recurrent neural networks (RNNs). In this work, we demonstrate that decoder-only transformers can in fact be conceptualized as infinite multi-state RNNs - an RNN variant with unlimited hidden state size. We further show that pretrained transformers can be converted into finite multi-state RNNs by fixing the size of their hidden state. We observe that several existing transformers cache compression techniques can be framed as such conversion policies, and introduce a novel policy, TOVA, which is simpler compared to these policies. Our experiments with several long range tasks indicate that TOVA outperforms all other baseline policies, while being nearly on par with the full (infinite) model, and using in some cases only 1{8} of the original cache size. Our results indicate that transformer decoder LLMs often behave in practice as RNNs. They also lay out the option of mitigating one of their most painful computational bottlenecks - the size of their cache memory. We publicly release our code at https://github.com/schwartz-lab-NLP/TOVA.