RAÍZ: Optimizador Robusto Ortogonalizado para el Entrenamiento de Redes Neuronales

ROOT: Robust Orthogonalized Optimizer for Neural Network Training

November 25, 2025

Autores: Wei He, Kai Han, Hang Zhou, Hanting Chen, Zhicheng Liu, Xinghao Chen, Yunhe Wang

cs.AI

Resumen

La optimización de los grandes modelos de lenguaje (LLM) sigue siendo un desafío crítico, particularmente dado que el escalado de modelos exacerba la sensibilidad a la imprecisión algorítmica y la inestabilidad del entrenamiento. Los avances recientes en optimizadores han mejorado la eficiencia de convergencia mediante la ortogonalización de momento, pero adolecen de dos limitaciones clave de robustez: fragilidad dimensional en la precisión de la ortogonalización y vulnerabilidad al ruido inducido por valores atípicos. Para abordar estos desafíos de robustez, presentamos ROOT, un Optimizador Ortogonalizado Robusto que mejora la estabilidad del entrenamiento mediante mecanismos duales de robustez. En primer lugar, desarrollamos un esquema de ortogonalización robusto a la dimensión que utiliza iteraciones de Newton adaptativas con coeficientes de grano fino ajustados a tamaños de matriz específicos, garantizando una precisión consistente en diversas configuraciones arquitectónicas. En segundo lugar, introducimos un marco de optimización robusta mediante optimización proximal que suprime el ruido de los valores atípicos preservando al mismo tiempo las direcciones de gradiente significativas. Experimentos exhaustivos demuestran que ROOT logra una robustez significativamente mejorada, con una convergencia más rápida y un rendimiento final superior en comparación con los optimizadores basados en Muon y Adam, particularmente en escenarios ruidosos y no convexos. Nuestro trabajo establece un nuevo paradigma para desarrollar optimizadores robustos y precisos capaces de manejar las complejidades del entrenamiento moderno de modelos a gran escala. El código estará disponible en https://github.com/huawei-noah/noah-research/tree/master/ROOT.

English

The optimization of large language models (LLMs) remains a critical challenge, particularly as model scaling exacerbates sensitivity to algorithmic imprecision and training instability. Recent advances in optimizers have improved convergence efficiency through momentum orthogonalization, but suffer from two key robustness limitations: dimensional fragility in orthogonalization precision and vulnerability to outlier-induced noise. To address these robustness challenges, we introduce ROOT, a Robust Orthogonalized Optimizer that enhances training stability through dual robustness mechanisms. First, we develop a dimension-robust orthogonalization scheme using adaptive Newton iterations with fine-grained coefficients tailored to specific matrix sizes, ensuring consistent precision across diverse architectural configurations. Second, we introduce an optimization-robust framework via proximal optimization that suppresses outlier noise while preserving meaningful gradient directions. Extensive experiments demonstrate that ROOT achieves significantly improved robustness, with faster convergence and superior final performance compared to both Muon and Adam-based optimizers, particularly in noisy and non-convex scenarios. Our work establishes a new paradigm for developing robust and precise optimizers capable of handling the complexities of modern large-scale model training. The code will be available at https://github.com/huawei-noah/noah-research/tree/master/ROOT.