Спектральное условие для μP при масштабировании ширины и глубины

Spectral Condition for μP under Width-Depth Scaling

February 28, 2026

Авторы: Chenyu Zheng, Rongzhen Wang, Xinyu Zhang, Chongxuan Li

cs.AI

Аннотация

Генеративные базовые модели все чаще масштабируются как по ширине, так и по глубине, что создает серьезные проблемы для стабильного обучения признаков и надежного переноса гиперпараметров (HP) между моделями разных размеров. Хотя параметризация максимального обновления (μP) предложила принципиальное решение обеих проблем для масштабирования по ширине, существующие расширения на режим совместного масштабирования по ширине и глубине остаются фрагментированными, специфичными для архитектуры и оптимизатора и часто опираются на технически сложные теории. В данной работе мы разрабатываем простой и унифицированный спектральный подход к μP при совместном масштабировании по ширине и глубине. Рассматривая остаточные сети с варьируемой глубиной блоков, мы сначала вводим спектральное условие μP, которое точно характеризует, как нормы весов и их пошаговые обновления должны масштабироваться с шириной и глубиной, объединяя ранее разрозненные формулировки μP как частные случаи. Основываясь на этом условии, мы затем выводим общий рецепт реализации μP для широкого класса оптимизаторов, отображая спектральные ограничения в конкретные параметризации HP. Этот подход не только восстанавливает существующие формулировки μP (например, для SGD и AdamW), но и естественным образом расширяется на более широкий диапазон оптимизаторов. Наконец, эксперименты на языковых моделях в стиле GPT-2 демонстрируют, что предложенное спектральное условие μP сохраняет стабильность обучения признаков и обеспечивает надежный перенос HP при масштабировании по ширине и глубине.

English

Generative foundation models are increasingly scaled in both width and depth, posing significant challenges for stable feature learning and reliable hyperparameter (HP) transfer across model sizes. While maximal update parameterization (μP) has provided a principled solution to both problems for width scaling, existing extensions to the joint width-depth scaling regime remain fragmented, architecture- and optimizer-specific, and often rely on technically involved theories. In this work, we develop a simple and unified spectral framework for μP under joint width-depth scaling. Considering residual networks of varying block depths, we first introduce a spectral μP condition that precisely characterizes how the norms of weights and their per-step updates should scale with width and depth, unifying previously disparate μP formulations as special cases. Building on this condition, we then derive a general recipe for implementing μP across a broad class of optimizers by mapping the spectral constraints to concrete HP parameterizations. This approach not only recovers existing μP formulations (e.g., for SGD and AdamW) but also naturally extends to a wider range of optimizers. Finally, experiments on GPT-2 style language models demonstrate that the proposed spectral μP condition preserves stable feature learning and enables robust HP transfer under width-depth scaling.