OmniOpt: Taxonomie, Geometrie und Benchmarking moderner Optimierer

Zusammenfassung

Die Auswahl von Optimierern für das Training großer Modelle ist zu einer systemweiten Designentscheidung geworden, die gemeinsam durch Rechenleistung, Speicher, Optimierungsbudget und Aufgabenvielfalt eingeschränkt wird – dennoch bleibt die Landschaft von über hundert Methoden fragmentiert. Wir präsentieren daher OmniOpt, ein einheitliches Übersichts- und Benchmark-Kochbuch von Optimierern für die Forschungsgemeinschaft. OmniOpt stützt sich auf vier gekoppelte Komponenten. Erstens behandeln wir jede Optimiereraktualisierung als eine strukturierte Transformation durch eine fünfstufige Meta-Pipeline und zeigen, dass die meisten Methoden nur eine oder zwei dieser Stufen betreffen. Zweitens verwenden wir normbeschränkte lineare Minimierungsorakel (LMOs), um verschiedene Optimierer zu vereinheitlichen. Drittens begründen diese beiden Ansichten eine zweidimensionale Taxonomie, wobei eine Dimension jede Methode einer Mechanismusfamilie zuordnet und die andere die messbaren Trainingsziele erfasst, die sie zu verbessern versucht. Viertens, und im Kern dieser Arbeit, instantiieren wir die vollständige Taxonomie in einem einheitlichen, bereichsübergreifenden Benchmark, der repräsentative Optimierer, Modellgrößen und Trainingsregime vom Sprachmodell-Vortraining bis zur Bildklassifikation umfasst. Dabei analysieren wir systematisch jede Methodenfamilie hinsichtlich mehrerer Effektziele und legen ihre jeweiligen Abwägungen dar. OmniOpt versorgt die Forschungsgemeinschaft somit mit einem operativen Koordinatensystem zur Auswahl von Optimierern unter expliziten Mechanismus- und Zielannahmen und zeigt eine Richtung für die zukünftige Entwicklung der Optimierergemeinschaft auf.

English

Optimizer selection for large-scale model training has become a system-level design decision constrained jointly by compute, memory, tuning budget, and task diversity, yet the landscape of over one hundred methods remains fragmented. We therefore present OmniOpt, a unified survey and benchmark cookbook of optimizers for the research community. OmniOpt rests on four coupled components. First, we treat every optimizer update as a structured transformation through a five-stage meta-pipeline, and show that most methods engage only one or two of these stages. Second, we use norm-constrained linear minimization oracles (LMOs) to unify different optimizers. Third, these two views ground a dual-dimension taxonomy, one dimension assigning each method to a mechanism family and the other recording the measurable training objectives it aims to improve. Fourth, and at the core of this paper, we instantiate the full taxonomy in a unified cross-domain benchmark spanning representative optimizers, model scales, and training regimes from language model pretraining to image classification, systematically analyzing each method family across multiple effect objectives and laying out their trade-offs. OmniOpt thus supplies the research community with an operational coordinate system for selecting optimizers under explicit mechanism and objective assumptions, and charts a direction for the future development of the optimizer community.