GPAS: Acelerando a Convergência do Pré-treinamento de LLMs por meio de Escalonamento de Ativação que Preserva Gradientes

Resumo

Modelos de Linguagem de Grande Escala modernos, como as séries LLaMA, Qwen e DeepSeek, adotam predominantemente a arquitetura Transformer com Pre-LayerNorm (Pre-LN). Embora sejam estáveis durante o pré-treinamento e escaláveis para tamanhos de modelo maiores, o Pre-LN sofre com um crescimento exponencial na variância das ativações entre as camadas, fazendo com que o caminho residual domine as saídas das subcamadas e limitando a capacidade de aprendizado das camadas mais profundas. Para mitigar esse problema, propomos o Escalonamento de Ativação com Preservação de Gradiente (GPAS), uma técnica simples que pode ser usada em combinação com abordagens existentes. O GPAS funciona reduzindo a escala das ativações intermediárias enquanto mantém seus gradientes inalterados. Isso preserva a informação nas ativações e evita o problema de desaparecimento de gradiente associado à redução de escala do gradiente. Experimentos extensivos em vários tamanhos de modelo, de 71M a 1B, mostram que o GPAS alcança ganhos consistentes de desempenho. Além de aprimorar Transformers com Pre-LN, o GPAS também mostra potencial para melhorar arquiteturas alternativas, como Sandwich-LN e DeepNorm, demonstrando sua versatilidade e potencial para melhorar a dinâmica de treinamento em uma ampla gama de configurações.

English

Modern Large Language Models, such as the LLaMA, Qwen and DeepSeek series, predominantly adopt the Pre-LayerNorm (Pre-LN) Transformer architecture. While being stable during pretraining and scalable to large model sizes, Pre-LN suffers from an exponential growth in activation variance across layers, causing the residual path to dominate over sub-layer outputs and limiting the learning capacity of deeper layers. To mitigate this issue, we propose Gradient-Preserving Activation Scaling (GPAS), a simple technique that can be used in combination with existing approaches. GPAS works by scaling down the intermediate activations while keeping their gradients unchanged. This leaves information in the activations intact, and avoids the gradient vanishing problem associated with gradient downscaling. Extensive experiments across various model sizes from 71M to 1B show that GPAS achieves consistent performance gains. Beyond enhancing Pre-LN Transformers, GPAS also shows promise in improving alternative architectures such as Sandwich-LN and DeepNorm, demonstrating its versatility and potential for improving training dynamics in a wide range of settings.

GPAS: Acelerando a Convergência do Pré-treinamento de LLMs por meio de Escalonamento de Ativação que Preserva Gradientes

GPAS: Accelerating Convergence of LLM Pretraining via Gradient-Preserving Activation Scaling

Resumo

Support