Control de Varianza mediante Reajuste de Pesos en el Preentrenamiento de Modelos de Lenguaje de Gran Escala

Variance Control via Weight Rescaling in LLM Pre-training

March 21, 2025

Autores: Louis Owen, Abhay Kumar, Nilabhra Roy Chowdhury, Fabian Güra

cs.AI

Resumen

El resultado del preentrenamiento de modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) depende en gran medida de las estrategias de inicialización de pesos y control de varianza. Aunque la importancia del control inicial de la varianza ha sido ampliamente documentada en redes neuronales en general, la literatura sobre la inicialización y la gestión de su crecimiento durante el preentrenamiento de LLM, específicamente, es algo escasa. En este artículo, presentamos el esquema de inicialización de pesos denominado Reajuste por Índice de Capa (LIR, por sus siglas en inglés) y la estrategia de control de varianza denominada Reajuste de Varianza Objetivo (TVR, por sus siglas en inglés). Los experimentos realizados en un modelo LLaMA de 1B de parámetros demuestran que una mejor gestión de la varianza mediante estas técnicas produce mejoras sustanciales en el rendimiento de tareas posteriores (hasta un 4,6% en puntos de referencia comunes de preentrenamiento) y reduce los valores extremos de activación, mitigando así los desafíos asociados con la cuantización y el entrenamiento en baja precisión. Nuestro código está disponible en: https://github.com/bluorion-com/weight_rescaling.

English

The outcome of Large Language Model (LLM) pre-training strongly depends on weight initialization and variance control strategies. Although the importance of initial variance control has been well documented in neural networks in general, the literature on initialization and management of its growth during LLM pre-training, specifically, is somewhat sparse. In this paper, we introduce the Layer Index Rescaling (LIR) weight initialization scheme, and the Target Variance Rescaling (TVR) variance control strategy. Experiments on a 1B parameter LLaMA model demonstrate that better variance management using these techniques yields substantial improvements in downstream task performance (up to 4.6% on common pre-training benchmarks) and reduces extreme activation values, thus mitigating challenges associated with quantization and low-precision training. Our code is available at: https://github.com/bluorion-com/weight_rescaling.