with Reduced Precision Die Entkopplung von Skalierung und Verteilung: Ermöglichung stabiler und effektiver Trainings von großen Sprachmodellen mit reduzierter Präzision

Scale-Distribution Decoupling: Enabling Stable and Effective Training of Large Language Models

February 21, 2025

Autoren: Ya Wang, Zhijian Zhuo, Yutao Zeng, Xun Zhou, Jian Yang, Xiaoqing Li

cs.AI

Zusammenfassung

Die Trainingsstabilität ist eine anhaltende Herausforderung bei der Vorverarbeitung großer Sprachmodelle (LLMs), insbesondere für Architekturen wie Post-Norm-Transformer, die anfällig für Gradientenexplosion und -dissipation sind. In diesem Artikel schlagen wir Scale-Distribution Decoupling (SDD) vor, einen neuartigen Ansatz, der das Training stabilisiert, indem er die Skalierung und Verteilung der Gewichtsmatrix in vollständig verbundenen Schichten explizit entkoppelt. SDD wendet einen Normalisierungsmechanismus an, um Aktivierungen zu regulieren, und einen lernbaren Skalierungsvektor, um gut konditionierte Gradienten aufrechtzuerhalten, wodurch Gradientenexplosion und -dissipation effektiv verhindert werden. Diese Trennung verbessert die Optimierungseffizienz, insbesondere in tiefen Netzwerken, indem sie eine stabile Gradientenausbreitung sicherstellt. Experimentelle Ergebnisse zeigen, dass unsere Methode das Training über verschiedene LLM-Architekturen hinweg stabilisiert und bestehende Techniken in unterschiedlichen Normalisierungskonfigurationen übertrifft. Darüber hinaus ist die vorgeschlagene Methode ressourcenschonend und mit bestehenden Frameworks kompatibel, was sie zu einer praktischen Lösung für die Stabilisierung des LLM-Trainings macht. Der Code ist unter https://github.com/kaihemo/SDD verfügbar.

English

Training stability is a persistent challenge in the pre-training of large language models (LLMs), particularly for architectures such as Post-Norm Transformers, which are prone to gradient explosion and dissipation. In this paper, we propose Scale-Distribution Decoupling (SDD), a novel approach that stabilizes training by explicitly decoupling the scale and distribution of the weight matrix in fully-connected layers. SDD applies a normalization mechanism to regulate activations and a learnable scaling vector to maintain well-conditioned gradients, effectively preventing gradient explosion and dissipation. This separation improves optimization efficiency, particularly in deep networks, by ensuring stable gradient propagation. Experimental results demonstrate that our method stabilizes training across various LLM architectures and outperforms existing techniques in different normalization configurations. Furthermore, the proposed method is lightweight and compatible with existing frameworks, making it a practical solution for stabilizing LLM training. Code is available at https://github.com/kaihemo/SDD.