Fantastische Voorafgetrainde Optimalisatoren en Waar Ze te Vinden

Fantastic Pretraining Optimizers and Where to Find Them

September 2, 2025

Auteurs: Kaiyue Wen, David Hall, Tengyu Ma, Percy Liang

cs.AI

Samenvatting

AdamW is lange tijd de dominante optimizer geweest bij het vooraf trainen van taalmodelen, ondanks talrijke beweringen dat alternatieve optimizers een versnelling van 1,4 tot 2x bieden. Wij stellen dat twee methodologische tekortkomingen eerlijke vergelijkingen hebben vertroebeld en de praktische adoptie hebben belemmerd: (i) ongelijke afstemming van hyperparameters en (ii) beperkte of misleidende evaluatieopstellingen. Om deze twee problemen aan te pakken, voeren we een systematische studie uit van tien deep learning-optimizers over vier modelschalen (0,1B-1,2B parameters) en data-to-model-verhoudingen (1-8x het Chinchilla-optimum). We ontdekken dat eerlijke en informatieve vergelijkingen rigoureuze afstemming van hyperparameters en evaluaties over een reeks modelschalen en data-to-model-verhoudingen vereisen, uitgevoerd aan het einde van de training. Ten eerste kunnen optimale hyperparameters voor één optimizer suboptimaal zijn voor een andere, waardoor blinde overdracht van hyperparameters oneerlijk is. Ten tweede is de daadwerkelijke versnelling van veel voorgestelde optimizers ten opzichte van goed afgestelde basislijnen lager dan beweerd en neemt af met de modelgrootte tot slechts 1,1x voor modellen met 1,2B parameters. Ten derde kan het vergelijken van tussenliggende checkpoints voordat het doelbudget voor training is bereikt misleidend zijn, omdat de rangorde tussen twee optimizers tijdens de training kan omkeren door het verval van de leercurve. Door ons grondige onderzoek ontdekken we dat alle snelste optimizers, zoals Muon en Soap, matrices gebruiken als preconditioners – waarbij ze de gradiënten vermenigvuldigen met matrices in plaats van met elementgewijze schaalfactoren. De versnelling van matrixgebaseerde optimizers is echter omgekeerd evenredig met de modelschaal, en neemt af van 1,4x ten opzichte van AdamW voor modellen met 0,1B parameters tot slechts 1,1x voor modellen met 1,2B parameters.

English

AdamW has long been the dominant optimizer in language model pretraining, despite numerous claims that alternative optimizers offer 1.4 to 2x speedup. We posit that two methodological shortcomings have obscured fair comparisons and hindered practical adoption: (i) unequal hyperparameter tuning and (ii) limited or misleading evaluation setups. To address these two issues, we conduct a systematic study of ten deep learning optimizers across four model scales (0.1B-1.2B parameters) and data-to-model ratios (1-8x the Chinchilla optimum). We find that fair and informative comparisons require rigorous hyperparameter tuning and evaluations across a range of model scales and data-to-model ratios, performed at the end of training. First, optimal hyperparameters for one optimizer may be suboptimal for another, making blind hyperparameter transfer unfair. Second, the actual speedup of many proposed optimizers over well-tuned baselines is lower than claimed and decreases with model size to only 1.1x for 1.2B parameter models. Thirdly, comparing intermediate checkpoints before reaching the target training budgets can be misleading, as rankings between two optimizers can flip during training due to learning rate decay. Through our thorough investigation, we find that all the fastest optimizers such as Muon and Soap, use matrices as preconditioners -- multiplying gradients with matrices rather than entry-wise scalars. However, the speedup of matrix-based optimizers is inversely proportional to model scale, decreasing from 1.4x over AdamW for 0.1B parameter models to merely 1.1x for 1.2B parameter models.