Renaissance de ReLU : Sur la surcharge entropique dans les grands modèles de langage sans normalisation

ReLU's Revival: On the Entropic Overload in Normalization-Free Large Language Models

October 12, 2024

Auteurs: Nandan Kumar Jha, Brandon Reagen

cs.AI

Résumé

LayerNorm est un composant essentiel dans les modèles de langage de grande taille modernes (LLM) pour stabiliser l'entraînement et garantir une optimisation fluide. Cependant, il introduit des défis importants en termes d'interprétabilité mécaniste, de suppression des caractéristiques aberrantes, de propagation fidèle du signal, ainsi que de complexité computationnelle et de communication de l'inférence privée. Ce travail explore les fonctions d'activation souhaitables dans les LLMs décodeurs sans normalisation. Contrairement à la préférence conventionnelle pour le GELU dans les modèles basés sur les transformers, nos résultats empiriques démontrent une tendance opposée - ReLU surpasse significativement le GELU dans les modèles sans LayerNorm, entraînant une amélioration de {\bf 8,2\%} de la perplexité. Nous identifions un problème clé avec le GELU, où les premières couches subissent une surcharge entropique, entraînant une sous-utilisation de la capacité de représentation des têtes d'attention. Cela met en évidence que des activations plus douces comme le GELU ne conviennent pas aux architectures sans LayerNorm, tandis que les propriétés géométriques de ReLU - spécialisation dans l'espace d'entrée et sélectivité intra-classe - conduisent à une dynamique d'apprentissage améliorée et une meilleure rétention d'informations en l'absence de LayerNorm. Cette étude offre des perspectives clés pour optimiser les architectures de transformers où LayerNorm pose des défis importants.

English

LayerNorm is a critical component in modern large language models (LLMs) for stabilizing training and ensuring smooth optimization. However, it introduces significant challenges in mechanistic interpretability, outlier feature suppression, faithful signal propagation, and computational and communication complexity of private inference. This work explores desirable activation functions in normalization-free decoder-only LLMs. Contrary to the conventional preference for the GELU in transformer-based models, our empirical findings demonstrate an {\em opposite trend} -- ReLU significantly outperforms GELU in LayerNorm-free models, leading to an {\bf 8.2\%} perplexity improvement. We discover a key issue with GELU, where early layers experience entropic overload, leading to the under-utilization of the representational capacity of attention heads. This highlights that smoother activations like GELU are {\em ill-suited} for LayerNorm-free architectures, whereas ReLU's geometrical properties -- specialization in input space and intra-class selectivity -- lead to improved learning dynamics and better information retention in the absence of LayerNorm. This study offers key insights for optimizing transformer architectures where LayerNorm introduces significant challenges.