ROOT : Optimiseur orthogonalisé robuste pour l'entraînement de réseaux neuronaux

ROOT: Robust Orthogonalized Optimizer for Neural Network Training

November 25, 2025

papers.authors: Wei He, Kai Han, Hang Zhou, Hanting Chen, Zhicheng Liu, Xinghao Chen, Yunhe Wang

cs.AI

papers.abstract

L'optimisation des grands modèles de langage (LLM) reste un défi critique, particulièrement car l'augmentation de la taille des modèles exacerbe la sensibilité à l'imprécision algorithmique et à l'instabilité de l'entraînement. Les progrès récents en matière d'optimiseurs ont amélioré l'efficacité de la convergence grâce à l'orthogonalisation du momentum, mais souffrent de deux limitations majeures de robustesse : la fragilité dimensionnelle dans la précision de l'orthogonalisation et la vulnérabilité au bruit induit par les valeurs aberrantes. Pour relever ces défis de robustesse, nous présentons ROOT, un Optimiseur Orthogonalisé Robuste qui améliore la stabilité de l'entraînement grâce à des mécanismes de robustesse duals. Premièrement, nous développons un schéma d'orthogonalisation robuste aux dimensions en utilisant des itérations de Newton adaptatives avec des coefficients à granularité fine ajustés à des tailles de matrice spécifiques, garantissant une précision constante à travers diverses configurations architecturales. Deuxièmement, nous introduisons un cadre robuste à l'optimisation via une optimisation proximale qui supprime le bruit des valeurs aberrantes tout en préservant les directions de gradient significatives. Des expériences approfondies démontrent que ROOT atteint une robustesse considérablement améliorée, avec une convergence plus rapide et des performances finales supérieures par rapport aux optimiseurs basés sur Muon et Adam, particulièrement dans des scénarios bruités et non convexes. Notre travail établit un nouveau paradigme pour le développement d'optimiseurs robustes et précis, capables de gérer les complexités de l'entraînement moderne des modèles à grande échelle. Le code sera disponible à l'adresse https://github.com/huawei-noah/noah-research/tree/master/ROOT.

English

The optimization of large language models (LLMs) remains a critical challenge, particularly as model scaling exacerbates sensitivity to algorithmic imprecision and training instability. Recent advances in optimizers have improved convergence efficiency through momentum orthogonalization, but suffer from two key robustness limitations: dimensional fragility in orthogonalization precision and vulnerability to outlier-induced noise. To address these robustness challenges, we introduce ROOT, a Robust Orthogonalized Optimizer that enhances training stability through dual robustness mechanisms. First, we develop a dimension-robust orthogonalization scheme using adaptive Newton iterations with fine-grained coefficients tailored to specific matrix sizes, ensuring consistent precision across diverse architectural configurations. Second, we introduce an optimization-robust framework via proximal optimization that suppresses outlier noise while preserving meaningful gradient directions. Extensive experiments demonstrate that ROOT achieves significantly improved robustness, with faster convergence and superior final performance compared to both Muon and Adam-based optimizers, particularly in noisy and non-convex scenarios. Our work establishes a new paradigm for developing robust and precise optimizers capable of handling the complexities of modern large-scale model training. The code will be available at https://github.com/huawei-noah/noah-research/tree/master/ROOT.