Tu Transformer es Secretamente Lineal

Your Transformer is Secretly Linear

May 19, 2024

Autores: Anton Razzhigaev, Matvey Mikhalchuk, Elizaveta Goncharova, Nikolai Gerasimenko, Ivan Oseledets, Denis Dimitrov, Andrey Kuznetsov

cs.AI

Resumen

Este artículo revela una característica lineal novedosa exclusiva de los decodificadores de transformadores, incluyendo modelos como GPT, LLaMA, OPT, BLOOM y otros. Analizamos las transformaciones de embeddings entre capas secuenciales, descubriendo una relación casi perfectamente lineal (puntuación de similitud de Procrustes de 0.99). Sin embargo, la linealidad disminuye cuando se elimina el componente residual debido a una norma de salida consistentemente baja en la capa del transformador. Nuestros experimentos muestran que eliminar o aproximar linealmente algunos de los bloques más lineales de los transformadores no afecta significativamente la pérdida ni el rendimiento del modelo. Además, en nuestros experimentos de preentrenamiento en modelos más pequeños, introducimos una regularización basada en similitud coseno, destinada a reducir la linealidad de las capas. Esta regularización mejora las métricas de rendimiento en benchmarks como Tiny Stories y SuperGLUE, y también logra disminuir exitosamente la linealidad de los modelos. Este estudio desafía la comprensión actual de las arquitecturas de transformadores, sugiriendo que su funcionamiento puede ser más lineal de lo que se asumía anteriormente.

English

This paper reveals a novel linear characteristic exclusive to transformer decoders, including models such as GPT, LLaMA, OPT, BLOOM and others. We analyze embedding transformations between sequential layers, uncovering a near-perfect linear relationship (Procrustes similarity score of 0.99). However, linearity decreases when the residual component is removed due to a consistently low output norm of the transformer layer. Our experiments show that removing or linearly approximating some of the most linear blocks of transformers does not affect significantly the loss or model performance. Moreover, in our pretraining experiments on smaller models we introduce a cosine-similarity-based regularization, aimed at reducing layer linearity. This regularization improves performance metrics on benchmarks like Tiny Stories and SuperGLUE and as well successfully decreases the linearity of the models. This study challenges the existing understanding of transformer architectures, suggesting that their operation may be more linear than previously assumed.