El Renacimiento de ReLU: Sobre la Sobrecarga Entrópica en Modelos de Lenguaje Grandes sin Normalización

ReLU's Revival: On the Entropic Overload in Normalization-Free Large Language Models

October 12, 2024

Autores: Nandan Kumar Jha, Brandon Reagen

cs.AI

Resumen

LayerNorm es un componente crítico en los modernos modelos de lenguaje grandes (LLMs) para estabilizar el entrenamiento y garantizar una optimización suave. Sin embargo, introduce desafíos significativos en interpretabilidad mecanicista, supresión de características atípicas, propagación fiel de la señal, y complejidad computacional y de comunicación de inferencia privada. Este trabajo explora funciones de activación deseables en LLMs de decodificador sin normalización. Contrario a la preferencia convencional por GELU en modelos basados en transformadores, nuestros hallazgos empíricos demuestran una tendencia opuesta: ReLU supera significativamente a GELU en modelos sin LayerNorm, lo que resulta en una mejora del 8.2% en perplejidad. Descubrimos un problema clave con GELU, donde las capas tempranas experimentan sobrecarga entrópica, lo que conduce a la subutilización de la capacidad representativa de las cabezas de atención. Esto destaca que activaciones más suaves como GELU no son adecuadas para arquitecturas sin LayerNorm, mientras que las propiedades geométricas de ReLU, especialización en el espacio de entrada y selectividad intraclase, conducen a una dinámica de aprendizaje mejorada y una mejor retención de información en ausencia de LayerNorm. Este estudio ofrece ideas clave para optimizar arquitecturas de transformadores donde LayerNorm presenta desafíos significativos.

English

LayerNorm is a critical component in modern large language models (LLMs) for stabilizing training and ensuring smooth optimization. However, it introduces significant challenges in mechanistic interpretability, outlier feature suppression, faithful signal propagation, and computational and communication complexity of private inference. This work explores desirable activation functions in normalization-free decoder-only LLMs. Contrary to the conventional preference for the GELU in transformer-based models, our empirical findings demonstrate an {\em opposite trend} -- ReLU significantly outperforms GELU in LayerNorm-free models, leading to an {\bf 8.2\%} perplexity improvement. We discover a key issue with GELU, where early layers experience entropic overload, leading to the under-utilization of the representational capacity of attention heads. This highlights that smoother activations like GELU are {\em ill-suited} for LayerNorm-free architectures, whereas ReLU's geometrical properties -- specialization in input space and intra-class selectivity -- lead to improved learning dynamics and better information retention in the absence of LayerNorm. This study offers key insights for optimizing transformer architectures where LayerNorm introduces significant challenges.