Trasformatori Più Forti Senza Normalizzazione

Stronger Normalization-Free Transformers

December 11, 2025

Autori: Mingzhi Chen, Taiming Lu, Jiachen Zhu, Mingjie Sun, Zhuang Liu

cs.AI

Abstract

Sebbene gli strati di normalizzazione siano stati a lungo considerati componenti indispensabili delle architetture di deep learning, la recente introduzione della Dynamic Tanh (DyT) ha dimostrato che alternative sono possibili. La funzione puntuale DyT vincola i valori estremi per una convergenza stabile e raggiunge prestazioni paragonabili a quelle della normalizzazione; questo lavoro ricerca ulteriormente progetti di funzioni che possano superarla. Iniziamo studiando come le proprietà intrinseche delle funzioni puntuali influenzino l'addestramento e le prestazioni. Basandoci su questi risultati, conduciamo una ricerca su larga scala per un progetto di funzione più efficace. Attraverso questa esplorazione, introduciamo Derf(x) = erf(αx + s), dove erf(x) è la funzione di distribuzione cumulativa gaussiana riscalata, e la identifichiamo come il progetto più performante. Derf supera LayerNorm, RMSNorm e DyT in un'ampia gamma di domini, inclusi visione artificiale (riconoscimento e generazione di immagini), rappresentazione del parlato e modellazione di sequenze di DNA. I nostri risultati suggeriscono che i guadagni prestazionali di Derf derivino in gran parte dalla sua migliore generalizzazione piuttosto che da una maggiore capacità di adattamento. La sua semplicità e le prestazioni superiori rendono Derf una scelta pratica per architetture Transformer senza normalizzazione.

English

Although normalization layers have long been viewed as indispensable components of deep learning architectures, the recent introduction of Dynamic Tanh (DyT) has demonstrated that alternatives are possible. The point-wise function DyT constrains extreme values for stable convergence and reaches normalization-level performance; this work seeks further for function designs that can surpass it. We first study how the intrinsic properties of point-wise functions influence training and performance. Building on these findings, we conduct a large-scale search for a more effective function design. Through this exploration, we introduce Derf(x) = erf(αx + s), where erf(x) is the rescaled Gaussian cumulative distribution function, and identify it as the most performant design. Derf outperforms LayerNorm, RMSNorm, and DyT across a wide range of domains, including vision (image recognition and generation), speech representation, and DNA sequence modeling. Our findings suggest that the performance gains of Derf largely stem from its improved generalization rather than stronger fitting capacity. Its simplicity and stronger performance make Derf a practical choice for normalization-free Transformer architectures.