Transformers sem Normalização

Transformers without Normalization

March 13, 2025

Autores: Jiachen Zhu, Xinlei Chen, Kaiming He, Yann LeCun, Zhuang Liu

cs.AI

Resumo

Camadas de normalização são onipresentes em redes neurais modernas e há muito tempo são consideradas essenciais. Este trabalho demonstra que Transformers sem normalização podem alcançar o mesmo ou melhor desempenho usando uma técnica notavelmente simples. Introduzimos o Dynamic Tanh (DyT), uma operação elemento a elemento DyT(x) = tanh(alpha x), como uma substituição direta para camadas de normalização em Transformers. O DyT é inspirado pela observação de que a normalização de camadas em Transformers frequentemente produz mapeamentos entrada-saída em forma de S, semelhantes à função tanh. Ao incorporar o DyT, Transformers sem normalização podem igualar ou superar o desempenho de suas contrapartes normalizadas, geralmente sem ajuste de hiperparâmetros. Validamos a eficácia de Transformers com DyT em diversas configurações, variando de reconhecimento a geração, aprendizado supervisionado a auto-supervisionado, e modelos de visão computacional a modelos de linguagem. Essas descobertas desafiam o entendimento convencional de que camadas de normalização são indispensáveis em redes neurais modernas e oferecem novos insights sobre seu papel em redes profundas.

English

Normalization layers are ubiquitous in modern neural networks and have long been considered essential. This work demonstrates that Transformers without normalization can achieve the same or better performance using a remarkably simple technique. We introduce Dynamic Tanh (DyT), an element-wise operation DyT(x) = tanh(alpha x), as a drop-in replacement for normalization layers in Transformers. DyT is inspired by the observation that layer normalization in Transformers often produces tanh-like, S-shaped input-output mappings. By incorporating DyT, Transformers without normalization can match or exceed the performance of their normalized counterparts, mostly without hyperparameter tuning. We validate the effectiveness of Transformers with DyT across diverse settings, ranging from recognition to generation, supervised to self-supervised learning, and computer vision to language models. These findings challenge the conventional understanding that normalization layers are indispensable in modern neural networks, and offer new insights into their role in deep networks.