Sterkere Normalisatievrije Transformers

Samenvatting

Hoewel normalisatielagen lange tijd werden beschouwd als onmisbare componenten van deep learning-architecturen, heeft de recente introductie van Dynamic Tanh (DyT) aangetoond dat alternatieven mogelijk zijn. De puntgewijze functie DyT beperkt extreme waarden voor stabiele convergentie en bereikt normalisatieniveau-prestaties; dit werk zoekt verder naar functieontwerpen die DyT kunnen overtreffen. We onderzoeken eerst hoe de intrinsieke eigenschappen van puntgewijze functies training en prestaties beïnvloeden. Voortbouwend op deze bevindingen, voeren we een grootschalige zoektocht uit naar een effectiever functieontwerp. Via deze verkenning introduceren we Derf(x) = erf(αx + s), waarbij erf(x) de herschaalde cumulatieve verdelingsfunctie van de Gaussverdeling is, en identificeren we dit als het meest presterende ontwerp. Derf overtreft LayerNorm, RMSNorm en DyT in een breed scala aan domeinen, waaronder vision (beeldherkenning en -generatie), spraakrepresentatie en DNA-sequentiemodellering. Onze bevindingen suggereren dat de prestatieverbeteringen van Derf grotendeels voortkomen uit verbeterde generalisatie in plaats van een sterkere aanpassingscapaciteit. Door zijn eenvoud en sterkere prestaties is Derf een praktische keuze voor normalisatievrije Transformer-architecturen.

English

Although normalization layers have long been viewed as indispensable components of deep learning architectures, the recent introduction of Dynamic Tanh (DyT) has demonstrated that alternatives are possible. The point-wise function DyT constrains extreme values for stable convergence and reaches normalization-level performance; this work seeks further for function designs that can surpass it. We first study how the intrinsic properties of point-wise functions influence training and performance. Building on these findings, we conduct a large-scale search for a more effective function design. Through this exploration, we introduce Derf(x) = erf(αx + s), where erf(x) is the rescaled Gaussian cumulative distribution function, and identify it as the most performant design. Derf outperforms LayerNorm, RMSNorm, and DyT across a wide range of domains, including vision (image recognition and generation), speech representation, and DNA sequence modeling. Our findings suggest that the performance gains of Derf largely stem from its improved generalization rather than stronger fitting capacity. Its simplicity and stronger performance make Derf a practical choice for normalization-free Transformer architectures.

Sterkere Normalisatievrije Transformers

Stronger Normalization-Free Transformers

Samenvatting

Support