Trasformatori senza Normalizzazione

Transformers without Normalization

March 13, 2025

Autori: Jiachen Zhu, Xinlei Chen, Kaiming He, Yann LeCun, Zhuang Liu

cs.AI

Abstract

I livelli di normalizzazione sono onnipresenti nelle reti neurali moderne e sono stati a lungo considerati essenziali. Questo lavoro dimostra che i Transformer senza normalizzazione possono raggiungere le stesse prestazioni o migliori utilizzando una tecnica straordinariamente semplice. Introduciamo la Dynamic Tanh (DyT), un'operazione elemento per elemento DyT(x) = tanh(alpha x), come sostituto diretto dei livelli di normalizzazione nei Transformer. La DyT è ispirata dall'osservazione che la normalizzazione a livello nei Transformer produce spesso mappature input-output a forma di S simili alla tanh. Incorporando la DyT, i Transformer senza normalizzazione possono eguagliare o superare le prestazioni delle loro controparti normalizzate, spesso senza bisogno di regolazione degli iperparametri. Validiamo l'efficacia dei Transformer con DyT in contesti diversi, che vanno dal riconoscimento alla generazione, dall'apprendimento supervisionato a quello auto-supervisionato, e dai modelli di visione artificiale a quelli linguistici. Questi risultati mettono in discussione la comprensione convenzionale che i livelli di normalizzazione siano indispensabili nelle reti neurali moderne e offrono nuove intuizioni sul loro ruolo nelle reti profonde.

English

Normalization layers are ubiquitous in modern neural networks and have long been considered essential. This work demonstrates that Transformers without normalization can achieve the same or better performance using a remarkably simple technique. We introduce Dynamic Tanh (DyT), an element-wise operation DyT(x) = tanh(alpha x), as a drop-in replacement for normalization layers in Transformers. DyT is inspired by the observation that layer normalization in Transformers often produces tanh-like, S-shaped input-output mappings. By incorporating DyT, Transformers without normalization can match or exceed the performance of their normalized counterparts, mostly without hyperparameter tuning. We validate the effectiveness of Transformers with DyT across diverse settings, ranging from recognition to generation, supervised to self-supervised learning, and computer vision to language models. These findings challenge the conventional understanding that normalization layers are indispensable in modern neural networks, and offer new insights into their role in deep networks.