Condition spectrale pour μP sous l'échelle largeur-profondeur
Spectral Condition for μP under Width-Depth Scaling
February 28, 2026
Auteurs: Chenyu Zheng, Rongzhen Wang, Xinyu Zhang, Chongxuan Li
cs.AI
Résumé
Les modèles de fondation génératifs sont de plus en plus mis à l'échelle en largeur et en profondeur, ce qui pose des défis significatifs pour l'apprentissage stable des caractéristiques et le transfert fiable des hyperparamètres (HP) entre différentes tailles de modèles. Si la paramétrisation par mise à jour maximale (μP) a fourni une solution théorique à ces deux problèmes pour la mise à l'échelle en largeur, les extensions existantes au régime de mise à l'échelle conjointe largeur-profondeur restent fragmentées, spécifiques à l'architecture et à l'optimiseur, et s'appuient souvent sur des théories techniquement complexes. Dans ce travail, nous développons un cadre spectral simple et unifié pour μP sous une mise à l'échelle conjointe largeur-profondeur. En considérant des réseaux résiduels avec des profondeurs de blocs variables, nous introduisons d'abord une condition spectrale μP qui caractérise précisément comment les normes des poids et de leurs mises à jour par étape doivent être mises à l'échelle avec la largeur et la profondeur, unifiant ainsi des formulations μP précédemment disparates comme des cas particuliers. Sur la base de cette condition, nous dérivons ensuite une recette générale pour implémenter μP sur une large classe d'optimiseurs en mappant les contraintes spectrales à des paramétrisations concrètes des HP. Cette approche permet non seulement de retrouver les formulations μP existantes (par exemple pour SGD et AdamW) mais s'étend naturellement à une gamme plus large d'optimiseurs. Enfin, des expériences sur des modèles de langage de type GPT-2 démontrent que la condition spectrale μP proposée préserve l'apprentissage stable des caractéristiques et permet un transfert robuste des HP sous mise à l'échelle largeur-profondeur.
English
Generative foundation models are increasingly scaled in both width and depth, posing significant challenges for stable feature learning and reliable hyperparameter (HP) transfer across model sizes. While maximal update parameterization (μP) has provided a principled solution to both problems for width scaling, existing extensions to the joint width-depth scaling regime remain fragmented, architecture- and optimizer-specific, and often rely on technically involved theories. In this work, we develop a simple and unified spectral framework for μP under joint width-depth scaling. Considering residual networks of varying block depths, we first introduce a spectral μP condition that precisely characterizes how the norms of weights and their per-step updates should scale with width and depth, unifying previously disparate μP formulations as special cases. Building on this condition, we then derive a general recipe for implementing μP across a broad class of optimizers by mapping the spectral constraints to concrete HP parameterizations. This approach not only recovers existing μP formulations (e.g., for SGD and AdamW) but also naturally extends to a wider range of optimizers. Finally, experiments on GPT-2 style language models demonstrate that the proposed spectral μP condition preserves stable feature learning and enables robust HP transfer under width-depth scaling.