O Renascimento do ReLU: Sobre a Sobrecarga Entrópica em Modelos de Linguagem Grandes sem Normalização

ReLU's Revival: On the Entropic Overload in Normalization-Free Large Language Models

October 12, 2024

Autores: Nandan Kumar Jha, Brandon Reagen

cs.AI

Resumo

LayerNorm é um componente crítico em modelos de linguagem grandes modernos (LLMs) para estabilizar o treinamento e garantir uma otimização suave. No entanto, ele introduz desafios significativos em interpretabilidade mecanicista, supressão de características atípicas, propagação fiel de sinal e complexidade computacional e de comunicação da inferência privada. Este trabalho explora funções de ativação desejáveis em LLMs apenas de decodificador sem normalização. Contrariamente à preferência convencional pelo GELU em modelos baseados em transformadores, nossas descobertas empíricas demonstram uma tendência oposta - ReLU supera significativamente o GELU em modelos livres de LayerNorm, resultando em uma melhoria de perplexidade de 8.2%. Descobrimos um problema-chave com o GELU, onde camadas iniciais experimentam sobrecarga entrópica, levando à subutilização da capacidade representacional das cabeças de atenção. Isso destaca que ativações mais suaves como o GELU são inadequadas para arquiteturas sem LayerNorm, enquanto as propriedades geométricas do ReLU - especialização no espaço de entrada e seletividade intra-classe - levam a uma dinâmica de aprendizado aprimorada e melhor retenção de informações na ausência de LayerNorm. Este estudo oferece insights importantes para otimizar arquiteturas de transformadores onde LayerNorm apresenta desafios significativos.

English

LayerNorm is a critical component in modern large language models (LLMs) for stabilizing training and ensuring smooth optimization. However, it introduces significant challenges in mechanistic interpretability, outlier feature suppression, faithful signal propagation, and computational and communication complexity of private inference. This work explores desirable activation functions in normalization-free decoder-only LLMs. Contrary to the conventional preference for the GELU in transformer-based models, our empirical findings demonstrate an {\em opposite trend} -- ReLU significantly outperforms GELU in LayerNorm-free models, leading to an {\bf 8.2\%} perplexity improvement. We discover a key issue with GELU, where early layers experience entropic overload, leading to the under-utilization of the representational capacity of attention heads. This highlights that smoother activations like GELU are {\em ill-suited} for LayerNorm-free architectures, whereas ReLU's geometrical properties -- specialization in input space and intra-class selectivity -- lead to improved learning dynamics and better information retention in the absence of LayerNorm. This study offers key insights for optimizing transformer architectures where LayerNorm introduces significant challenges.