Transformers sans normalisation

Transformers without Normalization

March 13, 2025

Auteurs: Jiachen Zhu, Xinlei Chen, Kaiming He, Yann LeCun, Zhuang Liu

cs.AI

Résumé

Les couches de normalisation sont omniprésentes dans les réseaux de neurones modernes et ont longtemps été considérées comme essentielles. Ce travail démontre que les Transformers sans normalisation peuvent atteindre des performances équivalentes ou supérieures grâce à une technique remarquablement simple. Nous introduisons le Dynamic Tanh (DyT), une opération élémentaire DyT(x) = tanh(alpha x), comme substitut direct des couches de normalisation dans les Transformers. DyT s'inspire de l'observation que la normalisation de couche dans les Transformers produit souvent des mappages entrée-sortie en forme de S, similaires à la fonction tanh. En intégrant DyT, les Transformers sans normalisation peuvent égaler ou surpasser les performances de leurs homologues normalisés, généralement sans réglage d'hyperparamètres. Nous validons l'efficacité des Transformers avec DyT dans divers contextes, allant de la reconnaissance à la génération, de l'apprentissage supervisé à l'auto-supervisé, et des modèles de vision par ordinateur aux modèles de langage. Ces résultats remettent en question la compréhension conventionnelle selon laquelle les couches de normalisation sont indispensables dans les réseaux de neurones modernes, et offrent de nouvelles perspectives sur leur rôle dans les réseaux profonds.

English

Normalization layers are ubiquitous in modern neural networks and have long been considered essential. This work demonstrates that Transformers without normalization can achieve the same or better performance using a remarkably simple technique. We introduce Dynamic Tanh (DyT), an element-wise operation DyT(x) = tanh(alpha x), as a drop-in replacement for normalization layers in Transformers. DyT is inspired by the observation that layer normalization in Transformers often produces tanh-like, S-shaped input-output mappings. By incorporating DyT, Transformers without normalization can match or exceed the performance of their normalized counterparts, mostly without hyperparameter tuning. We validate the effectiveness of Transformers with DyT across diverse settings, ranging from recognition to generation, supervised to self-supervised learning, and computer vision to language models. These findings challenge the conventional understanding that normalization layers are indispensable in modern neural networks, and offer new insights into their role in deep networks.