Schaal-distributie-ontkoppeling: Het mogelijk maken van stabiele en effectieve training van grote taalmodelen

Scale-Distribution Decoupling: Enabling Stable and Effective Training of Large Language Models

February 21, 2025

Auteurs: Ya Wang, Zhijian Zhuo, Yutao Zeng, Xun Zhou, Jian Yang, Xiaoqing Li

cs.AI

Samenvatting

Trainingsstabiliteit is een aanhoudende uitdaging bij het vooraf trainen van grote taalmmodellen (LLMs), met name voor architecturen zoals Post-Norm Transformers, die gevoelig zijn voor gradientexplosie en -dissipatie. In dit artikel stellen we Scale-Distribution Decoupling (SDD) voor, een nieuwe aanpak die de training stabiliseert door expliciet de schaal en verdeling van de gewichtsmatrix in volledig verbonden lagen te ontkoppelen. SDD past een normalisatiemechanisme toe om activeringen te reguleren en een leerbare schaalvector om goed geconditioneerde gradients te behouden, waardoor gradientexplosie en -dissipatie effectief worden voorkomen. Deze scheiding verbetert de optimalisatie-efficiëntie, vooral in diepe netwerken, door stabiele gradientpropagatie te garanderen. Experimentele resultaten tonen aan dat onze methode de training stabiliseert over verschillende LLM-architecturen en bestaande technieken overtreft in verschillende normalisatieconfiguraties. Bovendien is de voorgestelde methode lichtgewicht en compatibel met bestaande frameworks, waardoor het een praktische oplossing is voor het stabiliseren van LLM-training. Code is beschikbaar op https://github.com/kaihemo/SDD.

English

Training stability is a persistent challenge in the pre-training of large language models (LLMs), particularly for architectures such as Post-Norm Transformers, which are prone to gradient explosion and dissipation. In this paper, we propose Scale-Distribution Decoupling (SDD), a novel approach that stabilizes training by explicitly decoupling the scale and distribution of the weight matrix in fully-connected layers. SDD applies a normalization mechanism to regulate activations and a learnable scaling vector to maintain well-conditioned gradients, effectively preventing gradient explosion and dissipation. This separation improves optimization efficiency, particularly in deep networks, by ensuring stable gradient propagation. Experimental results demonstrate that our method stabilizes training across various LLM architectures and outperforms existing techniques in different normalization configurations. Furthermore, the proposed method is lightweight and compatible with existing frameworks, making it a practical solution for stabilizing LLM training. Code is available at https://github.com/kaihemo/SDD.