Condição Espectral para μP sob Escalonamento de Largura-Profundidade
Spectral Condition for μP under Width-Depth Scaling
February 28, 2026
Autores: Chenyu Zheng, Rongzhen Wang, Xinyu Zhang, Chongxuan Li
cs.AI
Resumo
Os modelos de base generativos são cada vez mais dimensionados em largura e profundidade, o que impõe desafios significativos para a aprendizagem estável de características e a transferência confiável de hiperparâmetros (HP) entre diferentes dimensões de modelos. Embora a parametrização de atualização máxima (μP) tenha fornecido uma solução fundamentada para ambos os problemas no dimensionamento em largura, as extensões existentes para o regime conjunto de dimensionamento em largura e profundidade permanecem fragmentadas, específicas da arquitetura e do otimizador, e frequentemente dependem de teorias tecnicamente complexas. Neste trabalho, desenvolvemos uma estrutura espectral simples e unificada para a μP sob dimensionamento conjunto de largura e profundidade. Considerando redes residuais com profundidades de bloco variáveis, introduzimos primeiro uma condição espectral μP que caracteriza precisamente como as normas dos pesos e suas atualizações por etapa devem ser dimensionadas com a largura e a profundidade, unificando formulações μP anteriormente dispersas como casos especiais. Com base nesta condição, derivamos depois uma receita geral para implementar a μP numa ampla classe de otimizadores, mapeando as restrições espectrais para parametrizações concretas de HP. Esta abordagem não só recupera as formulações μP existentes (por exemplo, para SGD e AdamW), como também se estende naturalmente a uma gama mais ampla de otimizadores. Finalmente, experiências em modelos de linguagem de estilo GPT-2 demonstram que a condição espectral μP proposta preserva a aprendizagem estável de características e permite uma transferência robusta de HP sob dimensionamento de largura e profundidade.
English
Generative foundation models are increasingly scaled in both width and depth, posing significant challenges for stable feature learning and reliable hyperparameter (HP) transfer across model sizes. While maximal update parameterization (μP) has provided a principled solution to both problems for width scaling, existing extensions to the joint width-depth scaling regime remain fragmented, architecture- and optimizer-specific, and often rely on technically involved theories. In this work, we develop a simple and unified spectral framework for μP under joint width-depth scaling. Considering residual networks of varying block depths, we first introduce a spectral μP condition that precisely characterizes how the norms of weights and their per-step updates should scale with width and depth, unifying previously disparate μP formulations as special cases. Building on this condition, we then derive a general recipe for implementing μP across a broad class of optimizers by mapping the spectral constraints to concrete HP parameterizations. This approach not only recovers existing μP formulations (e.g., for SGD and AdamW) but also naturally extends to a wider range of optimizers. Finally, experiments on GPT-2 style language models demonstrate that the proposed spectral μP condition preserves stable feature learning and enables robust HP transfer under width-depth scaling.