ROOT: Otimizador Ortogonalizado Robusto para Treinamento de Redes Neurais
ROOT: Robust Orthogonalized Optimizer for Neural Network Training
November 25, 2025
Autores: Wei He, Kai Han, Hang Zhou, Hanting Chen, Zhicheng Liu, Xinghao Chen, Yunhe Wang
cs.AI
Resumo
A otimização de grandes modelos de linguagem (LLMs) continua a ser um desafio crítico, particularmente à medida que a escalabilidade dos modelos exacerba a sensibilidade à imprecisão algorítmica e à instabilidade do treino. Avanços recentes em otimizadores melhoraram a eficiência de convergência através da ortogonalização de momento, mas sofrem de duas limitações de robustez principais: fragilidade dimensional na precisão da ortogonalização e vulnerabilidade ao ruído induzido por valores atípicos (outliers). Para enfrentar estes desafios de robustez, introduzimos o ROOT, um Otimidor Ortogonalizado Robusto que melhora a estabilidade do treino através de mecanismos duplos de robustez. Primeiro, desenvolvemos um esquema de ortogonalização dimensionalmente robusto utilizando iterações de Newton adaptativas com coeficientes de granularidade fina adaptados a tamanhos de matriz específicos, garantindo precisão consistente em diversas configurações arquitetónicas. Segundo, introduzimos uma estrutura de otimização robusta via otimização proximal que suprime o ruído de outliers, preservando ao mesmo tempo direções de gradiente significativas. Experiências extensivas demonstram que o ROOT alcança uma robustez significativamente melhorada, com convergência mais rápida e desempenho final superior em comparação com otimizadores baseados em Muon e Adam, particularmente em cenários ruidosos e não convexos. O nosso trabalho estabelece um novo paradigma para o desenvolvimento de otimizadores robustos e precisos, capazes de lidar com as complexidades do treino moderno de modelos em larga escala. O código estará disponível em https://github.com/huawei-noah/noah-research/tree/master/ROOT.
English
The optimization of large language models (LLMs) remains a critical challenge, particularly as model scaling exacerbates sensitivity to algorithmic imprecision and training instability. Recent advances in optimizers have improved convergence efficiency through momentum orthogonalization, but suffer from two key robustness limitations: dimensional fragility in orthogonalization precision and vulnerability to outlier-induced noise. To address these robustness challenges, we introduce ROOT, a Robust Orthogonalized Optimizer that enhances training stability through dual robustness mechanisms. First, we develop a dimension-robust orthogonalization scheme using adaptive Newton iterations with fine-grained coefficients tailored to specific matrix sizes, ensuring consistent precision across diverse architectural configurations. Second, we introduce an optimization-robust framework via proximal optimization that suppresses outlier noise while preserving meaningful gradient directions. Extensive experiments demonstrate that ROOT achieves significantly improved robustness, with faster convergence and superior final performance compared to both Muon and Adam-based optimizers, particularly in noisy and non-convex scenarios. Our work establishes a new paradigm for developing robust and precise optimizers capable of handling the complexities of modern large-scale model training. The code will be available at https://github.com/huawei-noah/noah-research/tree/master/ROOT.