Контроль дисперсии через масштабирование весов при предварительном обучении больших языковых моделей

Variance Control via Weight Rescaling in LLM Pre-training

March 21, 2025

Авторы: Louis Owen, Abhay Kumar, Nilabhra Roy Chowdhury, Fabian Güra

cs.AI

Аннотация

Результаты предварительного обучения больших языковых моделей (LLM) в значительной степени зависят от стратегий инициализации весов и контроля дисперсии. Хотя важность контроля начальной дисперсии хорошо задокументирована для нейронных сетей в целом, литература, посвященная инициализации и управлению её ростом в процессе предварительного обучения LLM, остается относительно скудной. В данной статье мы представляем схему инициализации весов Layer Index Rescaling (LIR) и стратегию контроля дисперсии Target Variance Rescaling (TVR). Эксперименты на модели LLaMA с 1 миллиардом параметров демонстрируют, что улучшенное управление дисперсией с использованием этих методов приводит к значительному повышению производительности на последующих задачах (до 4,6% на стандартных бенчмарках предварительного обучения) и снижает экстремальные значения активаций, тем самым смягчая проблемы, связанные с квантованием и обучением с низкой точностью. Наш код доступен по адресу: https://github.com/bluorion-com/weight_rescaling.

English

The outcome of Large Language Model (LLM) pre-training strongly depends on weight initialization and variance control strategies. Although the importance of initial variance control has been well documented in neural networks in general, the literature on initialization and management of its growth during LLM pre-training, specifically, is somewhat sparse. In this paper, we introduce the Layer Index Rescaling (LIR) weight initialization scheme, and the Target Variance Rescaling (TVR) variance control strategy. Experiments on a 1B parameter LLaMA model demonstrate that better variance management using these techniques yields substantial improvements in downstream task performance (up to 4.6% on common pre-training benchmarks) and reduces extreme activation values, thus mitigating challenges associated with quantization and low-precision training. Our code is available at: https://github.com/bluorion-com/weight_rescaling.