Controle de Variância via Redimensionamento de Pesos no Pré-treinamento de LLMs

Variance Control via Weight Rescaling in LLM Pre-training

March 21, 2025

Autores: Louis Owen, Abhay Kumar, Nilabhra Roy Chowdhury, Fabian Güra

cs.AI

Resumo

O resultado do pré-treinamento de Modelos de Linguagem de Grande Escala (LLMs) depende fortemente da inicialização dos pesos e das estratégias de controle de variância. Embora a importância do controle inicial da variância esteja bem documentada em redes neurais em geral, a literatura sobre a inicialização e o gerenciamento de seu crescimento durante o pré-treinamento de LLMs, especificamente, é um tanto escassa. Neste artigo, introduzimos o esquema de inicialização de pesos chamado Reescaling por Índice de Camada (Layer Index Rescaling - LIR) e a estratégia de controle de variância denominada Reescaling de Variância Alvo (Target Variance Rescaling - TVR). Experimentos realizados em um modelo LLaMA com 1 bilhão de parâmetros demonstram que um melhor gerenciamento da variância por meio dessas técnicas resulta em melhorias substanciais no desempenho em tarefas subsequentes (até 4,6% em benchmarks comuns de pré-treinamento) e reduz valores extremos de ativação, mitigando assim os desafios associados à quantização e ao treinamento em baixa precisão. Nosso código está disponível em: https://github.com/bluorion-com/weight_rescaling.

English

The outcome of Large Language Model (LLM) pre-training strongly depends on weight initialization and variance control strategies. Although the importance of initial variance control has been well documented in neural networks in general, the literature on initialization and management of its growth during LLM pre-training, specifically, is somewhat sparse. In this paper, we introduce the Layer Index Rescaling (LIR) weight initialization scheme, and the Target Variance Rescaling (TVR) variance control strategy. Experiments on a 1B parameter LLaMA model demonstrate that better variance management using these techniques yields substantial improvements in downstream task performance (up to 4.6% on common pre-training benchmarks) and reduces extreme activation values, thus mitigating challenges associated with quantization and low-precision training. Our code is available at: https://github.com/bluorion-com/weight_rescaling.