ReLU's Revival: Over de entropische overbelasting in normalisatievrije grote taalmodellen

ReLU's Revival: On the Entropic Overload in Normalization-Free Large Language Models

October 12, 2024

Auteurs: Nandan Kumar Jha, Brandon Reagen

cs.AI

Samenvatting

LayerNorm is een essentieel onderdeel in moderne grote taalmodellen (LLM's) om de training te stabiliseren en een soepele optimalisatie te garanderen. Het introduceert echter aanzienlijke uitdagingen op het gebied van mechanismische interpreteerbaarheid, onderdrukking van uitschieters, trouwe signaalpropagatie, en de complexiteit op het gebied van berekening en communicatie van privé-inferentie. Dit onderzoek verkent wenselijke activatiefuncties in normalisatievrije decoder-only LLM's. In tegenstelling tot de conventionele voorkeur voor de GELU in op transformatoren gebaseerde modellen, tonen onze empirische bevindingen een tegenovergestelde trend - ReLU presteert aanzienlijk beter dan GELU in modellen zonder LayerNorm, wat leidt tot een 8,2% verbetering in perplexiteit. We ontdekken een belangrijk probleem met GELU, waarbij vroege lagen te maken hebben met entropische overbelasting, wat leidt tot onderbenutting van de representatiecapaciteit van aandachtsmechanismen. Dit benadrukt dat zachtere activaties zoals GELU niet geschikt zijn voor architecturen zonder LayerNorm, terwijl de geometrische eigenschappen van ReLU - specialisatie in de invoerruimte en intra-klasse selectiviteit - leiden tot verbeterde leerdynamiek en betere informatiebehoud in afwezigheid van LayerNorm. Dit onderzoek biedt belangrijke inzichten voor het optimaliseren van transformer-architecturen waar LayerNorm aanzienlijke uitdagingen met zich meebrengt.

English

LayerNorm is a critical component in modern large language models (LLMs) for stabilizing training and ensuring smooth optimization. However, it introduces significant challenges in mechanistic interpretability, outlier feature suppression, faithful signal propagation, and computational and communication complexity of private inference. This work explores desirable activation functions in normalization-free decoder-only LLMs. Contrary to the conventional preference for the GELU in transformer-based models, our empirical findings demonstrate an {\em opposite trend} -- ReLU significantly outperforms GELU in LayerNorm-free models, leading to an {\bf 8.2\%} perplexity improvement. We discover a key issue with GELU, where early layers experience entropic overload, leading to the under-utilization of the representational capacity of attention heads. This highlights that smoother activations like GELU are {\em ill-suited} for LayerNorm-free architectures, whereas ReLU's geometrical properties -- specialization in input space and intra-class selectivity -- lead to improved learning dynamics and better information retention in the absence of LayerNorm. This study offers key insights for optimizing transformer architectures where LayerNorm introduces significant challenges.