Transformadores Mais Fortes sem Normalização
Stronger Normalization-Free Transformers
December 11, 2025
Autores: Mingzhi Chen, Taiming Lu, Jiachen Zhu, Mingjie Sun, Zhuang Liu
cs.AI
Resumo
Embora as camadas de normalização tenham sido vistas por muito tempo como componentes indispensáveis das arquiteturas de aprendizado profundo, a recente introdução da Dynamic Tanh (DyT) demonstrou que alternativas são possíveis. A função pontual DyT restringe valores extremos para convergência estável e atinge desempenho de nível de normalização; este trabalho busca avançar ainda mais em projetos de função que possam superá-la. Primeiro, estudamos como as propriedades intrínsecas das funções pontuais influenciam o treinamento e o desempenho. Com base nessas descobertas, realizamos uma busca em larga escala por um projeto de função mais eficaz. Por meio dessa exploração, introduzimos Derf(x) = erf(αx + s), onde erf(x) é a função de distribuição acumulada gaussiana redimensionada, e a identificamos como o projeto de maior desempenho. Derf supera LayerNorm, RMSNorm e DyT em uma ampla gama de domínios, incluindo visão (reconhecimento e geração de imagens), representação de fala e modelagem de sequências de DNA. Nossas descobertas sugerem que os ganhos de desempenho do Derf decorrem em grande parte de sua generalização aprimorada, e não de uma capacidade de ajuste mais forte. Sua simplicidade e desempenho superior tornam o Derf uma escolha prática para arquiteturas Transformer livres de normalização.
English
Although normalization layers have long been viewed as indispensable components of deep learning architectures, the recent introduction of Dynamic Tanh (DyT) has demonstrated that alternatives are possible. The point-wise function DyT constrains extreme values for stable convergence and reaches normalization-level performance; this work seeks further for function designs that can surpass it. We first study how the intrinsic properties of point-wise functions influence training and performance. Building on these findings, we conduct a large-scale search for a more effective function design. Through this exploration, we introduce Derf(x) = erf(αx + s), where erf(x) is the rescaled Gaussian cumulative distribution function, and identify it as the most performant design. Derf outperforms LayerNorm, RMSNorm, and DyT across a wide range of domains, including vision (image recognition and generation), speech representation, and DNA sequence modeling. Our findings suggest that the performance gains of Derf largely stem from its improved generalization rather than stronger fitting capacity. Its simplicity and stronger performance make Derf a practical choice for normalization-free Transformer architectures.