Возрождение ReLU: о перегрузке энтропией в крупных языковых моделях без нормализации

ReLU's Revival: On the Entropic Overload in Normalization-Free Large Language Models

October 12, 2024

Авторы: Nandan Kumar Jha, Brandon Reagen

cs.AI

Аннотация

LayerNorm является ключевым компонентом в современных больших языковых моделях (LLM) для стабилизации обучения и обеспечения плавной оптимизации. Однако он вносит значительные вызовы в механистическую интерпретируемость, подавление выбросов, верное распространение сигнала, а также в вычислительную и коммуникационную сложность частного вывода. В данной работе исследуются желательные функции активации в декодерах LLM без нормализации. Вопреки традиционному предпочтению GELU в моделях на основе трансформера, наши эмпирические результаты демонстрируют {\em противоположную тенденцию} - ReLU значительно превосходит GELU в моделях без LayerNorm, что приводит к улучшению перплексии на {\bf 8.2\%}. Мы обнаружили ключевую проблему с GELU, где начальные слои испытывают энтропийное перегруз, что приводит к недоиспользованию репрезентативной способности внимательных головок. Это подчеркивает, что более плавные активации, такие как GELU, не подходят для архитектур без LayerNorm, в то время как геометрические свойства ReLU - специализация в пространстве ввода и селективность внутри класса - приводят к улучшению динамики обучения и лучшему сохранению информации в отсутствие LayerNorm. Это исследование предлагает ключевые идеи для оптимизации архитектур трансформера, где LayerNorm вносит значительные вызовы.

English

LayerNorm is a critical component in modern large language models (LLMs) for stabilizing training and ensuring smooth optimization. However, it introduces significant challenges in mechanistic interpretability, outlier feature suppression, faithful signal propagation, and computational and communication complexity of private inference. This work explores desirable activation functions in normalization-free decoder-only LLMs. Contrary to the conventional preference for the GELU in transformer-based models, our empirical findings demonstrate an {\em opposite trend} -- ReLU significantly outperforms GELU in LayerNorm-free models, leading to an {\bf 8.2\%} perplexity improvement. We discover a key issue with GELU, where early layers experience entropic overload, leading to the under-utilization of the representational capacity of attention heads. This highlights that smoother activations like GELU are {\em ill-suited} for LayerNorm-free architectures, whereas ReLU's geometrical properties -- specialization in input space and intra-class selectivity -- lead to improved learning dynamics and better information retention in the absence of LayerNorm. This study offers key insights for optimizing transformer architectures where LayerNorm introduces significant challenges.