ROOT: Робастный Ортогонализированный Оптимизатор для Обучения Нейронных Сетей
ROOT: Robust Orthogonalized Optimizer for Neural Network Training
November 25, 2025
Авторы: Wei He, Kai Han, Hang Zhou, Hanting Chen, Zhicheng Liu, Xinghao Chen, Yunhe Wang
cs.AI
Аннотация
Оптимизация больших языковых моделей (LLM) остается критически важной задачей, особенно в условиях, когда масштабирование моделей усугубляет их чувствительность к алгоритмической неточности и нестабильности обучения. Последние достижения в области оптимизаторов улучшили эффективность сходимости за счет ортогонализации импульса, однако страдают от двух ключевых ограничений в отношении устойчивости: размерной хрупкости точности ортогонализации и уязвимости к шуму, вызванному выбросами.
Для решения этих проблем устойчивости мы представляем ROOT — робастный ортогонализованный оптимизатор, который повышает стабильность обучения за счет двойного механизма устойчивости. Во-первых, мы разрабатываем размерно-устойчивую схему ортогонализации с использованием адаптивных итераций Ньютона с точно настроенными коэффициентами, адаптированными под конкретные размеры матриц, что обеспечивает стабильную точность в различных архитектурных конфигурациях. Во-вторых, мы вводим оптимизационно-устойчивую структуру на основе проксимальной оптимизации, которая подавляет шум от выбросов, сохраняя при этом значимые направления градиента.
Многочисленные эксперименты демонстрируют, что ROOT обеспечивает значительное повышение устойчивости, более быструю сходимость и превосходную итоговую производительность по сравнению с оптимизаторами на основе Muon и Adam, особенно в зашумленных и невыпуклых сценариях. Наша работа устанавливает новую парадигму для создания робастных и точных оптимизаторов, способных справляться со сложностями современных задач обучения крупномасштабных моделей. Код будет доступен по адресу: https://github.com/huawei-noah/noah-research/tree/master/ROOT.
English
The optimization of large language models (LLMs) remains a critical challenge, particularly as model scaling exacerbates sensitivity to algorithmic imprecision and training instability. Recent advances in optimizers have improved convergence efficiency through momentum orthogonalization, but suffer from two key robustness limitations: dimensional fragility in orthogonalization precision and vulnerability to outlier-induced noise. To address these robustness challenges, we introduce ROOT, a Robust Orthogonalized Optimizer that enhances training stability through dual robustness mechanisms. First, we develop a dimension-robust orthogonalization scheme using adaptive Newton iterations with fine-grained coefficients tailored to specific matrix sizes, ensuring consistent precision across diverse architectural configurations. Second, we introduce an optimization-robust framework via proximal optimization that suppresses outlier noise while preserving meaningful gradient directions. Extensive experiments demonstrate that ROOT achieves significantly improved robustness, with faster convergence and superior final performance compared to both Muon and Adam-based optimizers, particularly in noisy and non-convex scenarios. Our work establishes a new paradigm for developing robust and precise optimizers capable of handling the complexities of modern large-scale model training. The code will be available at https://github.com/huawei-noah/noah-research/tree/master/ROOT.