Il tuo Transformer è Segretamente Lineare

Your Transformer is Secretly Linear

May 19, 2024

Autori: Anton Razzhigaev, Matvey Mikhalchuk, Elizaveta Goncharova, Nikolai Gerasimenko, Ivan Oseledets, Denis Dimitrov, Andrey Kuznetsov

cs.AI

Abstract

Questo articolo rivela una nuova caratteristica lineare esclusiva dei decoder transformer, inclusi modelli come GPT, LLaMA, OPT, BLOOM e altri. Analizziamo le trasformazioni degli embedding tra strati sequenziali, scoprendo una relazione quasi perfettamente lineare (punteggio di similarità di Procrustes di 0,99). Tuttavia, la linearità diminuisce quando la componente residua viene rimossa a causa di una norma di output costantemente bassa dello strato transformer. I nostri esperimenti dimostrano che la rimozione o l'approssimazione lineare di alcuni dei blocchi più lineari dei transformer non influisce significativamente sulla perdita o sulle prestazioni del modello. Inoltre, nei nostri esperimenti di pre-addestramento su modelli più piccoli, introduciamo una regolarizzazione basata sulla similarità del coseno, mirata a ridurre la linearità degli strati. Questa regolarizzazione migliora le metriche di prestazione su benchmark come Tiny Stories e SuperGLUE e riduce con successo la linearità dei modelli. Questo studio mette in discussione la comprensione attuale delle architetture transformer, suggerendo che il loro funzionamento potrebbe essere più lineare di quanto si pensasse in precedenza.

English

This paper reveals a novel linear characteristic exclusive to transformer decoders, including models such as GPT, LLaMA, OPT, BLOOM and others. We analyze embedding transformations between sequential layers, uncovering a near-perfect linear relationship (Procrustes similarity score of 0.99). However, linearity decreases when the residual component is removed due to a consistently low output norm of the transformer layer. Our experiments show that removing or linearly approximating some of the most linear blocks of transformers does not affect significantly the loss or model performance. Moreover, in our pretraining experiments on smaller models we introduce a cosine-similarity-based regularization, aimed at reducing layer linearity. This regularization improves performance metrics on benchmarks like Tiny Stories and SuperGLUE and as well successfully decreases the linearity of the models. This study challenges the existing understanding of transformer architectures, suggesting that their operation may be more linear than previously assumed.