ROOT: Robuuste Georthogonaliseerde Optimalisator voor Neurale Netwerktraining
ROOT: Robust Orthogonalized Optimizer for Neural Network Training
November 25, 2025
Auteurs: Wei He, Kai Han, Hang Zhou, Hanting Chen, Zhicheng Liu, Xinghao Chen, Yunhe Wang
cs.AI
Samenvatting
De optimalisatie van grootschalige taalmmodellen (LLM's) blijft een kritieke uitdaging, vooral omdat modelschaling de gevoeligheid voor algoritmische onnauwkeurigheid en traininstabiliteit verergert. Recente vooruitgang in optimalisatiemethoden heeft de convergentie-efficiëntie verbeterd door middel van momentumorthogonalisatie, maar lijdt onder twee belangrijke robuustheidsbeperkingen: dimensionale fragiliteit in orthogonalisatienauwkeurigheid en kwetsbaarheid voor uitschiergeruis. Om deze robuustheidsuitdagingen aan te pakken, introduceren wij ROOT, een Robuuste Georthogonaliseerde Optimizer die de trainstabiliteit verbetert door dubbele robuustheidsmechanismen. Ten eerste ontwikkelen we een dimensierobuust orthogonalisatieschema met adaptieve Newton-iteraties en fijnmazige coëfficiënten afgestemd op specifieke matrixgroottes, wat consistente nauwkeurigheid garandeert across diverse architectuurconfiguraties. Ten tweede introduceren we een optimalisatierobuust raamwerk via proximale optimalisatie dat uitschiergeruis onderdrukt terwijl betekenisvolle gradiëntrichtingen behouden blijven. Uitgebreide experimenten tonen aan dat ROOT een aanzienlijk verbeterde robuustheid bereikt, met snellere convergentie en superieure eindprestaties in vergelijking met zowel Muon- als Adam-gebaseerde optimalisatiemethoden, vooral in rumoerige en niet-convexe scenario's. Ons werk vestigt een nieuw paradigma voor het ontwikkelen van robuuste en precieze optimalisatiemethoden die bestand zijn tegen de complexiteiten van moderne grootschalige modeltraining. De code zal beschikbaar zijn op https://github.com/huawei-noah/noah-research/tree/master/ROOT.
English
The optimization of large language models (LLMs) remains a critical challenge, particularly as model scaling exacerbates sensitivity to algorithmic imprecision and training instability. Recent advances in optimizers have improved convergence efficiency through momentum orthogonalization, but suffer from two key robustness limitations: dimensional fragility in orthogonalization precision and vulnerability to outlier-induced noise. To address these robustness challenges, we introduce ROOT, a Robust Orthogonalized Optimizer that enhances training stability through dual robustness mechanisms. First, we develop a dimension-robust orthogonalization scheme using adaptive Newton iterations with fine-grained coefficients tailored to specific matrix sizes, ensuring consistent precision across diverse architectural configurations. Second, we introduce an optimization-robust framework via proximal optimization that suppresses outlier noise while preserving meaningful gradient directions. Extensive experiments demonstrate that ROOT achieves significantly improved robustness, with faster convergence and superior final performance compared to both Muon and Adam-based optimizers, particularly in noisy and non-convex scenarios. Our work establishes a new paradigm for developing robust and precise optimizers capable of handling the complexities of modern large-scale model training. The code will be available at https://github.com/huawei-noah/noah-research/tree/master/ROOT.