Seu Transformador é Secretamente Linear

Your Transformer is Secretly Linear

May 19, 2024

Autores: Anton Razzhigaev, Matvey Mikhalchuk, Elizaveta Goncharova, Nikolai Gerasimenko, Ivan Oseledets, Denis Dimitrov, Andrey Kuznetsov

cs.AI

Resumo

Este artigo revela uma característica linear nova e exclusiva dos decodificadores de transformadores, incluindo modelos como GPT, LLaMA, OPT, BLOOM e outros. Analisamos as transformações de embeddings entre camadas sequenciais, descobrindo uma relação linear quase perfeita (pontuação de similaridade de Procrustes de 0,99). No entanto, a linearidade diminui quando o componente residual é removido devido a uma norma de saída consistentemente baixa da camada do transformador. Nossos experimentos mostram que a remoção ou a aproximação linear de alguns dos blocos mais lineares dos transformadores não afeta significativamente a perda ou o desempenho do modelo. Além disso, em nossos experimentos de pré-treinamento em modelos menores, introduzimos uma regularização baseada em similaridade de cosseno, com o objetivo de reduzir a linearidade das camadas. Essa regularização melhora as métricas de desempenho em benchmarks como Tiny Stories e SuperGLUE e também reduz com sucesso a linearidade dos modelos. Este estudo desafia o entendimento atual das arquiteturas de transformadores, sugerindo que sua operação pode ser mais linear do que se assumia anteriormente.

English

This paper reveals a novel linear characteristic exclusive to transformer decoders, including models such as GPT, LLaMA, OPT, BLOOM and others. We analyze embedding transformations between sequential layers, uncovering a near-perfect linear relationship (Procrustes similarity score of 0.99). However, linearity decreases when the residual component is removed due to a consistently low output norm of the transformer layer. Our experiments show that removing or linearly approximating some of the most linear blocks of transformers does not affect significantly the loss or model performance. Moreover, in our pretraining experiments on smaller models we introduce a cosine-similarity-based regularization, aimed at reducing layer linearity. This regularization improves performance metrics on benchmarks like Tiny Stories and SuperGLUE and as well successfully decreases the linearity of the models. This study challenges the existing understanding of transformer architectures, suggesting that their operation may be more linear than previously assumed.