Transformadores sin Normalización

Transformers without Normalization

March 13, 2025

Autores: Jiachen Zhu, Xinlei Chen, Kaiming He, Yann LeCun, Zhuang Liu

cs.AI

Resumen

Las capas de normalización son omnipresentes en las redes neuronales modernas y durante mucho tiempo se han considerado esenciales. Este trabajo demuestra que los Transformers sin normalización pueden lograr el mismo o mejor rendimiento utilizando una técnica notablemente simple. Introducimos Dynamic Tanh (DyT), una operación elemento por elemento DyT(x) = tanh(alpha x), como un reemplazo directo de las capas de normalización en Transformers. DyT se inspira en la observación de que la normalización de capas en Transformers a menudo produce mapeos entrada-salida en forma de S, similares a tanh. Al incorporar DyT, los Transformers sin normalización pueden igualar o superar el rendimiento de sus contrapartes normalizadas, en su mayoría sin ajuste de hiperparámetros. Validamos la efectividad de los Transformers con DyT en diversos entornos, que van desde reconocimiento hasta generación, aprendizaje supervisado hasta auto-supervisado, y modelos de visión por computadora hasta modelos de lenguaje. Estos hallazgos desafían la comprensión convencional de que las capas de normalización son indispensables en las redes neuronales modernas, y ofrecen nuevas perspectivas sobre su papel en las redes profundas.

English

Normalization layers are ubiquitous in modern neural networks and have long been considered essential. This work demonstrates that Transformers without normalization can achieve the same or better performance using a remarkably simple technique. We introduce Dynamic Tanh (DyT), an element-wise operation DyT(x) = tanh(alpha x), as a drop-in replacement for normalization layers in Transformers. DyT is inspired by the observation that layer normalization in Transformers often produces tanh-like, S-shaped input-output mappings. By incorporating DyT, Transformers without normalization can match or exceed the performance of their normalized counterparts, mostly without hyperparameter tuning. We validate the effectiveness of Transformers with DyT across diverse settings, ranging from recognition to generation, supervised to self-supervised learning, and computer vision to language models. These findings challenge the conventional understanding that normalization layers are indispensable in modern neural networks, and offer new insights into their role in deep networks.