Adam verbetert Muon: Adaptieve Momentenschatting met Georthogonaliseerd Momentum

Adam Improves Muon: Adaptive Moment Estimation with Orthogonalized Momentum

February 19, 2026

Auteurs: Minxin Zhang, Yuxuan Liu, Hayden Scheaffer

cs.AI

Samenvatting

Efficiënte stochastische optimalisatie integreert typisch een update-richting die goed presteert in het deterministische regime met een mechanisme dat zich aanpast aan stochastische verstoringen. Waar Adam adaptieve momentenschatters gebruikt om stabiliteit te bevorderen, benut Muon de matrixstructuur van gewichtslagen via gemet orthogonaliseerd momentum, wat superieure prestaties vertoont bij de training van grote taalmodelen. Wij stellen een nieuwe optimizer voor en een diagonale extensie, NAMO en NAMO-D, die de eerste principiële integratie bieden van orthogonaliseerd momentum met op normen gebaseerde Adam-type ruisadaptatie. NAMO schaalt orthogonaliseerd momentum met behulp van een enkele adaptieve stapgrootte, behoudt orthogonaliteit terwijl het presteert beter dan Muon tegen verwaarloosbare extra kosten. NAMO-D vermenigvuldigt orthogonaliseerd momentum daarentegen rechts met een diagonale matrix met geklemde invoeren. Dit ontwerp maakt ruisadaptatie per neuron mogelijk en sluit aan bij de gebruikelijke bijna blokdiagonale Hessiaanstructuur. Onder standaard aannames stellen we optimale convergentiesnelheden vast voor beide algoritmen in de deterministische setting en tonen we aan dat, in de stochastische setting, hun convergentiegaranties zich aanpassen aan het ruisniveau van stochastische gradiënten. Experimenten met het voor-trainen van GPT-2-modellen demonstreren verbeterde prestaties van zowel NAMO als NAMO-D in vergelijking met de AdamW- en Muon-baselines, waarbij NAMO-D verdere winst behaalt ten opzichte van NAMO via een extra klemhyperparameter die de concurrerende doelstellingen in evenwicht brengt van het handhaven van een goed-geconditioneerde update-richting en het benutten van fijnmazige ruisadaptatie.

English

Efficient stochastic optimization typically integrates an update direction that performs well in the deterministic regime with a mechanism adapting to stochastic perturbations. While Adam uses adaptive moment estimates to promote stability, Muon utilizes the weight layers' matrix structure via orthogonalized momentum, showing superior performance in large language model training. We propose a new optimizer and a diagonal extension, NAMO and NAMO-D, providing the first principled integration of orthogonalized momentum with norm-based Adam-type noise adaptation. NAMO scales orthogonalized momentum using a single adaptive stepsize, preserving orthogonality while improving upon Muon at negligible additional cost. NAMO-D instead right-multiplies orthogonalized momentum by a diagonal matrix with clamped entries. This design enables neuron-wise noise adaptation and aligns with the common near block-diagonal Hessian structure. Under standard assumptions, we establish optimal convergence rates for both algorithms in the deterministic setting and show that, in the stochastic setting, their convergence guarantees adapt to the noise level of stochastic gradients. Experiments on pretraining GPT-2 models demonstrate improved performance of both NAMO and NAMO-D compared to the AdamW and Muon baselines, with NAMO-D achieving further gains over NAMO via an additional clamping hyperparameter that balances the competing goals of maintaining a well-conditioned update direction and leveraging fine-grained noise adaptation.