Desacoplamento Escala-Distribuição: Permitindo o Treinamento Estável e Eficaz de Modelos de Linguagem de Grande Escala

Scale-Distribution Decoupling: Enabling Stable and Effective Training of Large Language Models

February 21, 2025

Autores: Ya Wang, Zhijian Zhuo, Yutao Zeng, Xun Zhou, Jian Yang, Xiaoqing Li

cs.AI

Resumo

A estabilidade do treinamento é um desafio persistente no pré-treinamento de grandes modelos de linguagem (LLMs), especialmente para arquiteturas como Transformers com normalização posterior (Post-Norm), que são propensas a explosão e dissipação de gradientes. Neste artigo, propomos o Desacoplamento Escala-Distribuição (SDD), uma abordagem inovadora que estabiliza o treinamento ao desacoplar explicitamente a escala e a distribuição da matriz de pesos em camadas totalmente conectadas. O SDD aplica um mecanismo de normalização para regular as ativações e um vetor de escala aprendível para manter gradientes bem condicionados, prevenindo efetivamente a explosão e dissipação de gradientes. Essa separação melhora a eficiência da otimização, principalmente em redes profundas, ao garantir a propagação estável de gradientes. Resultados experimentais demonstram que nosso método estabiliza o treinamento em várias arquiteturas de LLMs e supera técnicas existentes em diferentes configurações de normalização. Além disso, o método proposto é leve e compatível com frameworks existentes, tornando-o uma solução prática para estabilizar o treinamento de LLMs. O código está disponível em https://github.com/kaihemo/SDD.

English

Training stability is a persistent challenge in the pre-training of large language models (LLMs), particularly for architectures such as Post-Norm Transformers, which are prone to gradient explosion and dissipation. In this paper, we propose Scale-Distribution Decoupling (SDD), a novel approach that stabilizes training by explicitly decoupling the scale and distribution of the weight matrix in fully-connected layers. SDD applies a normalization mechanism to regulate activations and a learnable scaling vector to maintain well-conditioned gradients, effectively preventing gradient explosion and dissipation. This separation improves optimization efficiency, particularly in deep networks, by ensuring stable gradient propagation. Experimental results demonstrate that our method stabilizes training across various LLM architectures and outperforms existing techniques in different normalization configurations. Furthermore, the proposed method is lightweight and compatible with existing frameworks, making it a practical solution for stabilizing LLM training. Code is available at https://github.com/kaihemo/SDD.