Decoupling Scala-Distribuzione: Abilitare l'Addestramento Stabile ed Efficace di Modelli Linguistici di Grandi Dimensioni

Scale-Distribution Decoupling: Enabling Stable and Effective Training of Large Language Models

February 21, 2025

Autori: Ya Wang, Zhijian Zhuo, Yutao Zeng, Xun Zhou, Jian Yang, Xiaoqing Li

cs.AI

Abstract

La stabilità dell'addestramento rappresenta una sfida persistente nel pre-training di grandi modelli linguistici (LLM), in particolare per architetture come i Transformer Post-Norm, che sono soggetti a esplosione e dissipazione del gradiente. In questo articolo, proponiamo il Decoupling Scala-Distribuzione (SDD), un approccio innovativo che stabilizza l'addestramento disaccoppiando esplicitamente la scala e la distribuzione della matrice dei pesi nei livelli completamente connessi. SDD applica un meccanismo di normalizzazione per regolare le attivazioni e un vettore di scalatura apprendibile per mantenere gradienti ben condizionati, prevenendo efficacemente l'esplosione e la dissipazione del gradiente. Questa separazione migliora l'efficienza dell'ottimizzazione, specialmente nelle reti profonde, garantendo una propagazione stabile del gradiente. I risultati sperimentali dimostrano che il nostro metodo stabilizza l'addestramento su varie architetture LLM e supera le tecniche esistenti in diverse configurazioni di normalizzazione. Inoltre, il metodo proposto è leggero e compatibile con i framework esistenti, rendendolo una soluzione pratica per stabilizzare l'addestramento degli LLM. Il codice è disponibile all'indirizzo https://github.com/kaihemo/SDD.

English

Training stability is a persistent challenge in the pre-training of large language models (LLMs), particularly for architectures such as Post-Norm Transformers, which are prone to gradient explosion and dissipation. In this paper, we propose Scale-Distribution Decoupling (SDD), a novel approach that stabilizes training by explicitly decoupling the scale and distribution of the weight matrix in fully-connected layers. SDD applies a normalization mechanism to regulate activations and a learnable scaling vector to maintain well-conditioned gradients, effectively preventing gradient explosion and dissipation. This separation improves optimization efficiency, particularly in deep networks, by ensuring stable gradient propagation. Experimental results demonstrate that our method stabilizes training across various LLM architectures and outperforms existing techniques in different normalization configurations. Furthermore, the proposed method is lightweight and compatible with existing frameworks, making it a practical solution for stabilizing LLM training. Code is available at https://github.com/kaihemo/SDD.