Transformers zonder Normalisatie

Transformers without Normalization

March 13, 2025

Auteurs: Jiachen Zhu, Xinlei Chen, Kaiming He, Yann LeCun, Zhuang Liu

cs.AI

Samenvatting

Normalisatielagen zijn alomtegenwoordig in moderne neurale netwerken en worden al lang als essentieel beschouwd. Dit werk toont aan dat Transformers zonder normalisatie dezelfde of betere prestaties kunnen bereiken met een opmerkelijk eenvoudige techniek. We introduceren Dynamic Tanh (DyT), een elementgewijze bewerking DyT(x) = tanh(alpha x), als een directe vervanging voor normalisatielagen in Transformers. DyT is geïnspireerd door de observatie dat laagnormalisatie in Transformers vaak tanh-achtige, S-vormige input-output-mapping produceert. Door DyT te integreren, kunnen Transformers zonder normalisatie de prestaties van hun genormaliseerde tegenhangers evenaren of overtreffen, meestal zonder hyperparameterafstemming. We valideren de effectiviteit van Transformers met DyT in diverse settings, variërend van herkenning tot generatie, gesuperviseerd tot zelfgesuperviseerd leren, en computervisie tot taalmodelen. Deze bevindingen dagen het conventionele begrip uit dat normalisatielagen onmisbaar zijn in moderne neurale netwerken, en bieden nieuwe inzichten in hun rol in diepe netwerken.

English

Normalization layers are ubiquitous in modern neural networks and have long been considered essential. This work demonstrates that Transformers without normalization can achieve the same or better performance using a remarkably simple technique. We introduce Dynamic Tanh (DyT), an element-wise operation DyT(x) = tanh(alpha x), as a drop-in replacement for normalization layers in Transformers. DyT is inspired by the observation that layer normalization in Transformers often produces tanh-like, S-shaped input-output mappings. By incorporating DyT, Transformers without normalization can match or exceed the performance of their normalized counterparts, mostly without hyperparameter tuning. We validate the effectiveness of Transformers with DyT across diverse settings, ranging from recognition to generation, supervised to self-supervised learning, and computer vision to language models. These findings challenge the conventional understanding that normalization layers are indispensable in modern neural networks, and offer new insights into their role in deep networks.