Votre Transformer est Secrètement Linéaire

Your Transformer is Secretly Linear

May 19, 2024

papers.authors: Anton Razzhigaev, Matvey Mikhalchuk, Elizaveta Goncharova, Nikolai Gerasimenko, Ivan Oseledets, Denis Dimitrov, Andrey Kuznetsov

cs.AI

papers.abstract

Cet article révèle une caractéristique linéaire inédite propre aux décodeurs de type transformer, incluant des modèles tels que GPT, LLaMA, OPT, BLOOM et d'autres. Nous analysons les transformations d'embeddings entre les couches séquentielles, mettant en évidence une relation linéaire quasi parfaite (score de similarité de Procrustes de 0,99). Cependant, la linéarité diminue lorsque la composante résiduelle est supprimée en raison d'une norme de sortie systématiquement faible de la couche transformer. Nos expériences montrent que la suppression ou l'approximation linéaire de certains des blocs les plus linéaires des transformers n'affecte pas significativement la perte ou les performances du modèle. Par ailleurs, dans nos expériences de pré-entraînement sur des modèles plus petits, nous introduisons une régularisation basée sur la similarité cosinus, visant à réduire la linéarité des couches. Cette régularisation améliore les métriques de performance sur des benchmarks comme Tiny Stories et SuperGLUE, tout en réduisant efficacement la linéarité des modèles. Cette étude remet en question la compréhension actuelle des architectures transformer, suggérant que leur fonctionnement pourrait être plus linéaire que ce qui était précédemment supposé.

English

This paper reveals a novel linear characteristic exclusive to transformer decoders, including models such as GPT, LLaMA, OPT, BLOOM and others. We analyze embedding transformations between sequential layers, uncovering a near-perfect linear relationship (Procrustes similarity score of 0.99). However, linearity decreases when the residual component is removed due to a consistently low output norm of the transformer layer. Our experiments show that removing or linearly approximating some of the most linear blocks of transformers does not affect significantly the loss or model performance. Moreover, in our pretraining experiments on smaller models we introduce a cosine-similarity-based regularization, aimed at reducing layer linearity. This regularization improves performance metrics on benchmarks like Tiny Stories and SuperGLUE and as well successfully decreases the linearity of the models. This study challenges the existing understanding of transformer architectures, suggesting that their operation may be more linear than previously assumed.