ReLUの復活：正規化フリーの大規模言語モデルにおけるエントロピー過多

ReLU's Revival: On the Entropic Overload in Normalization-Free Large Language Models

October 12, 2024

著者: Nandan Kumar Jha, Brandon Reagen

cs.AI

要旨

LayerNormは、現代の大規模言語モデル（LLM）において、トレーニングの安定化と滑らかな最適化を確保するための重要な要素です。ただし、それは機械的な解釈可能性、外れ値特徴の抑制、忠実な信号伝播、およびプライベート推論の計算および通信の複雑さに重要な課題をもたらします。この研究は、正規化フリーのデコーダー専用LLMにおける望ましい活性化関数を探求しています。従来のトランスフォーマーベースモデルにおけるGELUへの一般的な好みとは対照的に、我々の経験的な結果は「逆の傾向」を示しており、LayerNormフリーモデルにおいてReLUがGELUを大幅に上回り、パープレキシティが8.2%改善されています。我々は、GELUに関する重要な問題を発見しました。早い段階のレイヤーがエントロピックな過負荷を経験し、アテンションヘッドの表現能力の未使用につながっています。これは、GELUのような滑らかな活性化関数はLayerNormフリーアーキテクチャには適していない一方、ReLUの幾何学的特性（入力空間での特殊化とクラス内選択性）は、LayerNormのない状況での改善された学習ダイナミクスと情報の保持をもたらします。この研究は、LayerNormが重要な課題を導入するトランスフォーマーアーキテクチャの最適化に向けた重要な洞察を提供しています。

English

LayerNorm is a critical component in modern large language models (LLMs) for stabilizing training and ensuring smooth optimization. However, it introduces significant challenges in mechanistic interpretability, outlier feature suppression, faithful signal propagation, and computational and communication complexity of private inference. This work explores desirable activation functions in normalization-free decoder-only LLMs. Contrary to the conventional preference for the GELU in transformer-based models, our empirical findings demonstrate an {\em opposite trend} -- ReLU significantly outperforms GELU in LayerNorm-free models, leading to an {\bf 8.2\%} perplexity improvement. We discover a key issue with GELU, where early layers experience entropic overload, leading to the under-utilization of the representational capacity of attention heads. This highlights that smoother activations like GELU are {\em ill-suited} for LayerNorm-free architectures, whereas ReLU's geometrical properties -- specialization in input space and intra-class selectivity -- lead to improved learning dynamics and better information retention in the absence of LayerNorm. This study offers key insights for optimizing transformer architectures where LayerNorm introduces significant challenges.