MARS-M: когда уменьшение дисперсии встречается с матрицами

MARS-M: When Variance Reduction Meets Matrices

October 20, 2025

Авторы: Yifeng Liu, Angela Yuan, Quanquan Gu

cs.AI

Аннотация

Матричные предобусловленные оптимизаторы, такие как Muon, недавно продемонстрировали более высокую эффективность по сравнению со скалярными оптимизаторами при обучении крупномасштабных нейронных сетей, включая большие языковые модели (LLM). С другой стороны, недавние сравнительные тесты оптимизаторов для предварительного обучения LLM показали, что методы снижения дисперсии, такие как MARS, могут обеспечить значительное ускорение по сравнению со стандартными оптимизаторами, не использующими снижение дисперсии. В данной статье для достижения преимуществ обоих подходов мы представляем MARS-M — новый оптимизатор, интегрирующий технику снижения дисперсии из MARS с Muon. При стандартных условиях регулярности мы доказываем, что Muon-M сходится к стационарной точке первого порядка со скоростью $\mathcal{O}(T^{-1/3})$, что улучшает показатель $\mathcal{O}(T^{-1/4})$, достигаемый Muon. Наши эмпирические результаты по задачам языкового моделирования и компьютерного зрения демонстрируют, что MARS-M стабильно обеспечивает меньшие значения функции потерь и улучшенную производительность на различных downstream-бенчмарках. Реализация MARS-M доступна по адресу https://github.com/AGI-Arena/MARS/MARS_M.

English

Matrix-based preconditioned optimizers, such as Muon, have recently been shown to be more efficient than scalar-based optimizers for training large-scale neural networks, including large language models (LLMs). On the other hand, recent benchmarks on optimizers for LLM pre-training have demonstrated that variance-reduction techniques such as MARS can achieve substantial speedups over standard optimizers that do not employ variance reduction. In this paper, to achieve the best of both worlds, we introduce MARS-M, a new optimizer that integrates the variance reduction technique in MARS with Muon. Under standard regularity conditions, we prove that Muon-M converges to a first-order stationary point at a rate of mathcal{O}(T^{-1/3}), which improves upon mathcal{O}(T^{-1/4}) rate attained by Muon. Our empirical results on language modeling and computer vision tasks demonstrate that MARS-M consistently yields lower losses and improved performance across various downstream benchmarks. The implementation of MARS-M is available at https://github.com/AGI-Arena/MARS/MARS_M.