Stärkere Normalisierungsfreie Transformer
Stronger Normalization-Free Transformers
December 11, 2025
papers.authors: Mingzhi Chen, Taiming Lu, Jiachen Zhu, Mingjie Sun, Zhuang Liu
cs.AI
papers.abstract
Obwohl Normalisierungsschichten lange als unverzichtbare Bestandteile von Deep-Learning-Architekturen angesehen wurden, hat die kürzliche Einführung von Dynamic Tanh (DyT) gezeigt, dass Alternativen möglich sind. Die punktweise Funktion DyT begrenzt extreme Werte für eine stabile Konvergenz und erreicht Normalisierungs-Level-Leistung; diese Arbeit sucht weiter nach Funktionsdesigns, die sie übertreffen können. Wir untersuchen zunächst, wie die intrinsischen Eigenschaften punktweiser Funktionen das Training und die Leistung beeinflussen. Aufbauend auf diesen Erkenntnissen führen wir eine umfangreiche Suche nach einem effektiveren Funktionsdesign durch. Durch diese Exploration führen wir Derf(x) = erf(αx + s) ein, wobei erf(x) die reskalierte Gaußsche kumulative Verteilungsfunktion ist, und identifizieren es als die leistungsstärkste Variante. Derf übertrifft LayerNorm, RMSNorm und DyT in einer Vielzahl von Domänen, darunter Vision (Bilderkennung und -generierung), Sprachrepräsentation und DNA-Sequenzmodellierung. Unsere Ergebnisse deuten darauf hin, dass die Leistungssteigerungen von Derf größtenteils auf verbesserte Generalisierung und nicht auf eine stärkere Anpassungsfähigkeit zurückzuführen sind. Seine Einfachheit und stärkere Leistung machen Derf zu einer praktischen Wahl für Normalisierungs-freie Transformer-Architekturen.
English
Although normalization layers have long been viewed as indispensable components of deep learning architectures, the recent introduction of Dynamic Tanh (DyT) has demonstrated that alternatives are possible. The point-wise function DyT constrains extreme values for stable convergence and reaches normalization-level performance; this work seeks further for function designs that can surpass it. We first study how the intrinsic properties of point-wise functions influence training and performance. Building on these findings, we conduct a large-scale search for a more effective function design. Through this exploration, we introduce Derf(x) = erf(αx + s), where erf(x) is the rescaled Gaussian cumulative distribution function, and identify it as the most performant design. Derf outperforms LayerNorm, RMSNorm, and DyT across a wide range of domains, including vision (image recognition and generation), speech representation, and DNA sequence modeling. Our findings suggest that the performance gains of Derf largely stem from its improved generalization rather than stronger fitting capacity. Its simplicity and stronger performance make Derf a practical choice for normalization-free Transformer architectures.