MARS-M: Wanneer variantiereductie matrices ontmoet

MARS-M: When Variance Reduction Meets Matrices

October 20, 2025

Auteurs: Yifeng Liu, Angela Yuan, Quanquan Gu

cs.AI

Samenvatting

Matrix-gebaseerde voorgeconditioneerde optimalisatiemethoden, zoals Muon, zijn recentelijk aangetoond efficiënter te zijn dan scalaire optimalisatiemethoden voor het trainen van grootschalige neurale netwerken, waaronder grote taalmmodellen (LLM's). Anderzijds hebben recente benchmarks van optimalisatiemethoden voor LLM-pre-training aangetoond dat variantiereductietechnieken zoals MARS aanzienlijke snelheidswinsten kunnen bereiken ten opzichte van standaard optimalisatiemethoden die geen variantiereductie toepassen. In dit artikel introduceren we, om het beste van beide werelden te combineren, MARS-M: een nieuwe optimalisatiemethode die de variantiereductietechniek van MARS integreert met Muon. Onder standaard regulariteitsvoorwaarden bewijzen we dat Muon-M convergeert naar een stationair punt van de eerste orde met een snelheid van mathcal{O}(T^{-1/3}), wat een verbetering is ten opzichte van de mathcal{O}(T^{-1/4})-snelheid die door Muon wordt bereikt. Onze empirische resultaten voor taalmodelleer- en computervisietaken tonen aan dat MARS-M consistent lagere verliezen en verbeterde prestaties oplevert op verschillende downstream benchmarks. De implementatie van MARS-M is beschikbaar op https://github.com/AGI-Arena/MARS/MARS_M.

English

Matrix-based preconditioned optimizers, such as Muon, have recently been shown to be more efficient than scalar-based optimizers for training large-scale neural networks, including large language models (LLMs). On the other hand, recent benchmarks on optimizers for LLM pre-training have demonstrated that variance-reduction techniques such as MARS can achieve substantial speedups over standard optimizers that do not employ variance reduction. In this paper, to achieve the best of both worlds, we introduce MARS-M, a new optimizer that integrates the variance reduction technique in MARS with Muon. Under standard regularity conditions, we prove that Muon-M converges to a first-order stationary point at a rate of mathcal{O}(T^{-1/3}), which improves upon mathcal{O}(T^{-1/4}) rate attained by Muon. Our empirical results on language modeling and computer vision tasks demonstrate that MARS-M consistently yields lower losses and improved performance across various downstream benchmarks. The implementation of MARS-M is available at https://github.com/AGI-Arena/MARS/MARS_M.