Spectrale Voorwaarde voor μP onder Schaling van Breedte-Diepte
Spectral Condition for μP under Width-Depth Scaling
February 28, 2026
Auteurs: Chenyu Zheng, Rongzhen Wang, Xinyu Zhang, Chongxuan Li
cs.AI
Samenvatting
Generatieve foundationmodellen worden in toenemende mate opgeschaald in zowel breedte als diepte, wat aanzienlijke uitdagingen vormt voor stabiele feature learning en betrouwbare hyperparameter (HP) transfer tussen modelgroottes. Hoewel maximale update-parameterisatie (μP) een principiële oplossing bood voor beide problemen bij breedteschaling, blijven bestaande uitbreidingen naar het gezamenlijke breedte-diepte-schalingsregime gefragmenteerd, architectuur- en optimizer-specifiek, en vaak gebaseerd op technisch complexe theorieën. In dit werk ontwikkelen we een eenvoudig en verenigd spectraal kader voor μP onder gezamenlijke breedte-diepte-schaling. Door residuale netwerken met variërende blokdieptes te beschouwen, introduceren we eerst een spectrale μP-voorwaarde die precies karakteriseert hoe de normen van gewichten en hun per-stap updates moeten schalen met breedte en diepte, waarbij eerder disparate μP-formuleringen worden verenigd als speciale gevallen. Voortbouwend op deze voorwaarde, leiden we vervolgens een algemeen recept af voor de implementatie van μP over een brede klasse van optimizers door de spectrale restricties te vertalen naar concrete HP-parameterisaties. Deze aanpak herstelt niet alleen bestaande μP-formuleringen (bijv. voor SGD en AdamW), maar breidt zich ook natuurlijk uit naar een groter scala aan optimizers. Ten slotte tonen experimenten met GPT-2-stijl taalmodelen aan dat de voorgestelde spectrale μP-voorwaarde stabiele feature learning behoudt en robuuste HP-transfer mogelijk maakt onder breedte-diepte-schaling.
English
Generative foundation models are increasingly scaled in both width and depth, posing significant challenges for stable feature learning and reliable hyperparameter (HP) transfer across model sizes. While maximal update parameterization (μP) has provided a principled solution to both problems for width scaling, existing extensions to the joint width-depth scaling regime remain fragmented, architecture- and optimizer-specific, and often rely on technically involved theories. In this work, we develop a simple and unified spectral framework for μP under joint width-depth scaling. Considering residual networks of varying block depths, we first introduce a spectral μP condition that precisely characterizes how the norms of weights and their per-step updates should scale with width and depth, unifying previously disparate μP formulations as special cases. Building on this condition, we then derive a general recipe for implementing μP across a broad class of optimizers by mapping the spectral constraints to concrete HP parameterizations. This approach not only recovers existing μP formulations (e.g., for SGD and AdamW) but also naturally extends to a wider range of optimizers. Finally, experiments on GPT-2 style language models demonstrate that the proposed spectral μP condition preserves stable feature learning and enables robust HP transfer under width-depth scaling.