La Rinascita di ReLU: Sull'Esaurimento Entropico nei Grandi Modelli Linguistici Senza Normalizzazione

ReLU's Revival: On the Entropic Overload in Normalization-Free Large Language Models

October 12, 2024

Autori: Nandan Kumar Jha, Brandon Reagen

cs.AI

Abstract

LayerNorm è un componente critico nei moderni modelli di linguaggio di grandi dimensioni (LLM) per stabilizzare l'addestramento e garantire un'ottimizzazione regolare. Tuttavia, introduce significativi problemi nell'interpretabilità meccanicistica, nella soppressione delle caratteristiche anomale, nella fedele propagazione del segnale e nella complessità computazionale e comunicativa dell'inferenza privata. Questo lavoro esplora le funzioni di attivazione desiderabili nei LLM decoder-only privi di normalizzazione. Contrariamente alla preferenza convenzionale per il GELU nei modelli basati su trasformatori, i nostri risultati empirici dimostrano una tendenza opposta: il ReLU supera significativamente il GELU nei modelli privi di LayerNorm, portando a un miglioramento del 8.2% della perplessità. Scopriamo un problema chiave con il GELU, dove i livelli iniziali subiscono un sovraccarico entropico, portando alla sottoutilizzazione della capacità rappresentativa delle teste di attenzione. Questo sottolinea che attivazioni più regolari come il GELU non sono adatte alle architetture prive di LayerNorm, mentre le proprietà geometriche del ReLU - specializzazione nello spazio di input e selettività intra-classe - portano a una dinamica di apprendimento migliorata e a una migliore ritenzione delle informazioni in assenza di LayerNorm. Questo studio offre importanti spunti per ottimizzare le architetture dei trasformatori in cui LayerNorm introduce significativi problemi.

English

LayerNorm is a critical component in modern large language models (LLMs) for stabilizing training and ensuring smooth optimization. However, it introduces significant challenges in mechanistic interpretability, outlier feature suppression, faithful signal propagation, and computational and communication complexity of private inference. This work explores desirable activation functions in normalization-free decoder-only LLMs. Contrary to the conventional preference for the GELU in transformer-based models, our empirical findings demonstrate an {\em opposite trend} -- ReLU significantly outperforms GELU in LayerNorm-free models, leading to an {\bf 8.2\%} perplexity improvement. We discover a key issue with GELU, where early layers experience entropic overload, leading to the under-utilization of the representational capacity of attention heads. This highlights that smoother activations like GELU are {\em ill-suited} for LayerNorm-free architectures, whereas ReLU's geometrical properties -- specialization in input space and intra-class selectivity -- lead to improved learning dynamics and better information retention in the absence of LayerNorm. This study offers key insights for optimizing transformer architectures where LayerNorm introduces significant challenges.