OmniOpt: Taxonomie, Geometrie en Benchmarking van Moderne Optimalisatoren

Samenvatting

De selectie van optimalisatoren voor grootschalige modeltraining is een systeemontwerpbeslissing geworden die gezamenlijk wordt beperkt door rekenkracht, geheugen, afstemmingsbudget en taakdiversiteit, terwijl het landschap van meer dan honderd methoden gefragmenteerd blijft. Daarom presenteren we OmniOpt, een uniform overzicht en benchmarkkookboek van optimalisatoren voor de onderzoeksgemeenschap. OmniOpt rust op vier gekoppelde componenten. Ten eerste behandelen we elke optimalisatorupdate als een gestructureerde transformatie door een vijftraps metapijplijn, en laten we zien dat de meeste methoden slechts een of twee van deze fasen gebruiken. Ten tweede gebruiken we norm-gebonden lineaire minimalisatie-orakels (LMO's) om verschillende optimalisatoren te verenigen. Ten derde vormen deze twee visies de basis voor een tweedimensionale taxonomie, waarbij de ene dimensie elke methode toewijst aan een mechanismefamilie en de andere de meetbare trainingsdoelstellingen registreert die het beoogt te verbeteren. Ten vierde, en de kern van dit artikel, concretiseren we de volledige taxonomie in een uniforme cross-domein benchmark die representatieve optimalisatoren, modelschalen en trainingsregimes omvat, van taalmodeltraining tot beeldclassificatie, waarbij we elke methodenfamilie systematisch analyseren op meerdere effectdoelstellingen en hun afwegingen uiteenzetten. OmniOpt biedt de onderzoeksgemeenschap dus een operationeel coördinatensysteem voor het selecteren van optimalisatoren onder expliciete mechanisme- en doelstellingsaannames, en schetst een richting voor de toekomstige ontwikkeling van de optimalisatorgemeenschap.

English

Optimizer selection for large-scale model training has become a system-level design decision constrained jointly by compute, memory, tuning budget, and task diversity, yet the landscape of over one hundred methods remains fragmented. We therefore present OmniOpt, a unified survey and benchmark cookbook of optimizers for the research community. OmniOpt rests on four coupled components. First, we treat every optimizer update as a structured transformation through a five-stage meta-pipeline, and show that most methods engage only one or two of these stages. Second, we use norm-constrained linear minimization oracles (LMOs) to unify different optimizers. Third, these two views ground a dual-dimension taxonomy, one dimension assigning each method to a mechanism family and the other recording the measurable training objectives it aims to improve. Fourth, and at the core of this paper, we instantiate the full taxonomy in a unified cross-domain benchmark spanning representative optimizers, model scales, and training regimes from language model pretraining to image classification, systematically analyzing each method family across multiple effect objectives and laying out their trade-offs. OmniOpt thus supplies the research community with an operational coordinate system for selecting optimizers under explicit mechanism and objective assumptions, and charts a direction for the future development of the optimizer community.