Transformers são RNNs de Múltiplos Estados.

Transformers are Multi-State RNNs

January 11, 2024

Autores: Matanel Oren, Michael Hassid, Yossi Adi, Roy Schwartz

cs.AI

Resumo

Os Transformers são considerados conceitualmente diferentes em comparação com a geração anterior de modelos de última geração em PLN - redes neurais recorrentes (RNNs). Neste trabalho, demonstramos que os Transformers apenas com decodificador podem, de fato, ser conceitualizados como RNNs multi-estado infinitas - uma variante de RNN com tamanho ilimitado de estado oculto. Além disso, mostramos que Transformers pré-treinados podem ser convertidos em RNNs multi-estado finitas ao fixar o tamanho de seu estado oculto. Observamos que várias técnicas existentes de compressão de cache de Transformers podem ser enquadradas como tais políticas de conversão e introduzimos uma nova política, TOVA, que é mais simples em comparação com essas políticas. Nossos experimentos com várias tarefas de longo alcance indicam que o TOVA supera todas as outras políticas de linha de base, estando quase em pé de igualdade com o modelo completo (infinito) e usando, em alguns casos, apenas 1/8 do tamanho original do cache. Nossos resultados indicam que os LLMs de decodificador Transformer frequentemente se comportam na prática como RNNs. Eles também apresentam a opção de mitigar um de seus gargalos computacionais mais problemáticos - o tamanho de sua memória cache. Disponibilizamos publicamente nosso código em https://github.com/schwartz-lab-NLP/TOVA.

English

Transformers are considered conceptually different compared to the previous generation of state-of-the-art NLP models - recurrent neural networks (RNNs). In this work, we demonstrate that decoder-only transformers can in fact be conceptualized as infinite multi-state RNNs - an RNN variant with unlimited hidden state size. We further show that pretrained transformers can be converted into finite multi-state RNNs by fixing the size of their hidden state. We observe that several existing transformers cache compression techniques can be framed as such conversion policies, and introduce a novel policy, TOVA, which is simpler compared to these policies. Our experiments with several long range tasks indicate that TOVA outperforms all other baseline policies, while being nearly on par with the full (infinite) model, and using in some cases only 1{8} of the original cache size. Our results indicate that transformer decoder LLMs often behave in practice as RNNs. They also lay out the option of mitigating one of their most painful computational bottlenecks - the size of their cache memory. We publicly release our code at https://github.com/schwartz-lab-NLP/TOVA.