Condición Espectral para μP bajo Escalado de Ancho-Profundidad
Spectral Condition for μP under Width-Depth Scaling
February 28, 2026
Autores: Chenyu Zheng, Rongzhen Wang, Xinyu Zhang, Chongxuan Li
cs.AI
Resumen
Los modelos fundacionales generativos se escalan cada vez más en anchura y profundidad, lo que plantea desafíos significativos para el aprendizaje estable de características y la transferencia confiable de hiperparámetros (HP) entre diferentes tamaños de modelo. Si bien la parametrización de actualización máxima (μP) ha proporcionado una solución fundamentada para ambos problemas en el escalado de anchura, las extensiones existentes al régimen de escalado conjunto de anchura y profundidad siguen siendo fragmentadas, específicas de arquitectura y optimizador, y a menudo dependen de teorías técnicamente complejas. En este trabajo, desarrollamos un marco espectral simple y unificado para μP bajo escalado conjunto de anchura-profundidad. Considerando redes residuales con profundidades de bloque variables, primero introducimos una condición espectral μP que caracteriza precisamente cómo deben escalarse las normas de los pesos y sus actualizaciones por paso con la anchura y profundidad, unificando formulaciones μP previamente dispares como casos especiales. Sobre esta base, derivamos una receta general para implementar μP en una amplia clase de optimizadores mapeando las restricciones espectrales a parametrizaciones concretas de HP. Este enfoque no solo recupera formulaciones μP existentes (por ejemplo, para SGD y AdamW) sino que también se extiende naturalmente a una gama más amplia de optimizadores. Finalmente, experimentos en modelos de lenguaje estilo GPT-2 demuestran que la condición espectral μP propuesta preserva el aprendizaje estable de características y permite una transferencia robusta de HP bajo escalado de anchura-profundidad.
English
Generative foundation models are increasingly scaled in both width and depth, posing significant challenges for stable feature learning and reliable hyperparameter (HP) transfer across model sizes. While maximal update parameterization (μP) has provided a principled solution to both problems for width scaling, existing extensions to the joint width-depth scaling regime remain fragmented, architecture- and optimizer-specific, and often rely on technically involved theories. In this work, we develop a simple and unified spectral framework for μP under joint width-depth scaling. Considering residual networks of varying block depths, we first introduce a spectral μP condition that precisely characterizes how the norms of weights and their per-step updates should scale with width and depth, unifying previously disparate μP formulations as special cases. Building on this condition, we then derive a general recipe for implementing μP across a broad class of optimizers by mapping the spectral constraints to concrete HP parameterizations. This approach not only recovers existing μP formulations (e.g., for SGD and AdamW) but also naturally extends to a wider range of optimizers. Finally, experiments on GPT-2 style language models demonstrate that the proposed spectral μP condition preserves stable feature learning and enables robust HP transfer under width-depth scaling.