Ihr Transformer ist heimlich linear.

Your Transformer is Secretly Linear

May 19, 2024

papers.authors: Anton Razzhigaev, Matvey Mikhalchuk, Elizaveta Goncharova, Nikolai Gerasimenko, Ivan Oseledets, Denis Dimitrov, Andrey Kuznetsov

cs.AI

papers.abstract

Dieses Paper enthüllt eine neuartige lineare Eigenschaft, die ausschließlich für Transformer-Decodierer gilt, einschließlich Modelle wie GPT, LLaMA, OPT, BLOOM und andere. Wir analysieren die Einbettungstransformationen zwischen aufeinanderfolgenden Schichten und decken eine nahezu perfekte lineare Beziehung auf (Prokrustes-Ähnlichkeitsscore von 0,99). Die Linearität nimmt jedoch ab, wenn die Restkomponente aufgrund einer konstant niedrigen Ausgangsnorm der Transformer-Schicht entfernt wird. Unsere Experimente zeigen, dass das Entfernen oder lineare Approximieren einiger der linearsten Blöcke von Transformern den Verlust oder die Modellleistung nicht signifikant beeinflusst. Darüber hinaus führen wir in unseren Pretraining-Experimenten mit kleineren Modellen eine Regularisierung auf Basis der Kosinus-Ähnlichkeit ein, die darauf abzielt, die Schichtenlinearität zu reduzieren. Diese Regularisierung verbessert Leistungsmetriken auf Benchmarks wie Tiny Stories und SuperGLUE und verringert erfolgreich die Linearität der Modelle. Diese Studie stellt das bestehende Verständnis von Transformer-Architekturen in Frage und legt nahe, dass ihr Betrieb möglicherweise linearer ist als bisher angenommen.

English

This paper reveals a novel linear characteristic exclusive to transformer decoders, including models such as GPT, LLaMA, OPT, BLOOM and others. We analyze embedding transformations between sequential layers, uncovering a near-perfect linear relationship (Procrustes similarity score of 0.99). However, linearity decreases when the residual component is removed due to a consistently low output norm of the transformer layer. Our experiments show that removing or linearly approximating some of the most linear blocks of transformers does not affect significantly the loss or model performance. Moreover, in our pretraining experiments on smaller models we introduce a cosine-similarity-based regularization, aimed at reducing layer linearity. This regularization improves performance metrics on benchmarks like Tiny Stories and SuperGLUE and as well successfully decreases the linearity of the models. This study challenges the existing understanding of transformer architectures, suggesting that their operation may be more linear than previously assumed.