Разделение масштаба и распределения: обеспечение стабильного и эффективного обучения крупных языковых моделей

Scale-Distribution Decoupling: Enabling Stable and Effective Training of Large Language Models

February 21, 2025

Авторы: Ya Wang, Zhijian Zhuo, Yutao Zeng, Xun Zhou, Jian Yang, Xiaoqing Li

cs.AI

Аннотация

Стабильность обучения остается постоянной проблемой при предварительном обучении больших языковых моделей (LLM), особенно для архитектур, таких как Post-Norm Transformers, которые склонны к взрыву и рассеиванию градиентов. В данной статье мы предлагаем метод Decoupling Scale-Distribution (SDD), новый подход, который стабилизирует обучение за счет явного разделения масштаба и распределения матрицы весов в полностью связанных слоях. SDD применяет механизм нормализации для регулирования активаций и обучаемый масштабирующий вектор для поддержания хорошо обусловленных градиентов, эффективно предотвращая взрыв и рассеивание градиентов. Это разделение повышает эффективность оптимизации, особенно в глубоких сетях, за счет обеспечения стабильного распространения градиентов. Экспериментальные результаты показывают, что наш метод стабилизирует обучение для различных архитектур LLM и превосходит существующие техники в различных конфигурациях нормализации. Кроме того, предложенный метод является легковесным и совместимым с существующими фреймворками, что делает его практичным решением для стабилизации обучения LLM. Код доступен по адресу https://github.com/kaihemo/SDD.

English

Training stability is a persistent challenge in the pre-training of large language models (LLMs), particularly for architectures such as Post-Norm Transformers, which are prone to gradient explosion and dissipation. In this paper, we propose Scale-Distribution Decoupling (SDD), a novel approach that stabilizes training by explicitly decoupling the scale and distribution of the weight matrix in fully-connected layers. SDD applies a normalization mechanism to regulate activations and a learnable scaling vector to maintain well-conditioned gradients, effectively preventing gradient explosion and dissipation. This separation improves optimization efficiency, particularly in deep networks, by ensuring stable gradient propagation. Experimental results demonstrate that our method stabilizes training across various LLM architectures and outperforms existing techniques in different normalization configurations. Furthermore, the proposed method is lightweight and compatible with existing frameworks, making it a practical solution for stabilizing LLM training. Code is available at https://github.com/kaihemo/SDD.