Fantastische Vorabtrainingsoptimierer und wo man sie findet

Fantastic Pretraining Optimizers and Where to Find Them

September 2, 2025

papers.authors: Kaiyue Wen, David Hall, Tengyu Ma, Percy Liang

cs.AI

papers.abstract

AdamW ist seit langem der dominierende Optimierer beim Pretraining von Sprachmodellen, trotz zahlreicher Behauptungen, dass alternative Optimierer eine Beschleunigung um das 1,4- bis 2-fache bieten. Wir gehen davon aus, dass zwei methodische Mängel faire Vergleiche erschwert und die praktische Übernahme behindert haben: (i) ungleiche Hyperparameterabstimmung und (ii) begrenzte oder irreführende Evaluierungssetups. Um diese beiden Probleme zu adressieren, führen wir eine systematische Studie von zehn Deep-Learning-Optimierern über vier Modellgrößen (0,1B-1,2B Parameter) und Daten-zu-Modell-Verhältnisse (1-8x das Chinchilla-Optimum) durch. Wir stellen fest, dass faire und informative Vergleiche eine rigorose Hyperparameterabstimmung und Evaluierungen über eine Reihe von Modellgrößen und Daten-zu-Modell-Verhältnissen erfordern, die am Ende des Trainings durchgeführt werden. Erstens können optimale Hyperparameter für einen Optimierer für einen anderen suboptimal sein, was eine blinde Hyperparameterübertragung unfair macht. Zweitens ist die tatsächliche Beschleunigung vieler vorgeschlagener Optimierer gegenüber gut abgestimmten Baselines geringer als behauptet und nimmt mit der Modellgröße auf nur 1,1x für 1,2B-Parameter-Modelle ab. Drittens kann der Vergleich von Zwischencheckpoints vor Erreichen der Ziel-Trainingsbudgets irreführend sein, da sich die Rangfolge zwischen zwei Optimierern während des Trainings aufgrund der Lernratenabnahme umkehren kann. Durch unsere gründliche Untersuchung stellen wir fest, dass alle schnellsten Optimierer wie Muon und Soap Matrizen als Vorkonditionierer verwenden – sie multiplizieren Gradienten mit Matrizen anstatt mit skalarwertigen Einträgen. Die Beschleunigung von matrixbasierten Optimierern ist jedoch umgekehrt proportional zur Modellgröße und nimmt von 1,4x gegenüber AdamW für 0,1B-Parameter-Modelle auf lediglich 1,1x für 1,2B-Parameter-Modelle ab.

English

AdamW has long been the dominant optimizer in language model pretraining, despite numerous claims that alternative optimizers offer 1.4 to 2x speedup. We posit that two methodological shortcomings have obscured fair comparisons and hindered practical adoption: (i) unequal hyperparameter tuning and (ii) limited or misleading evaluation setups. To address these two issues, we conduct a systematic study of ten deep learning optimizers across four model scales (0.1B-1.2B parameters) and data-to-model ratios (1-8x the Chinchilla optimum). We find that fair and informative comparisons require rigorous hyperparameter tuning and evaluations across a range of model scales and data-to-model ratios, performed at the end of training. First, optimal hyperparameters for one optimizer may be suboptimal for another, making blind hyperparameter transfer unfair. Second, the actual speedup of many proposed optimizers over well-tuned baselines is lower than claimed and decreases with model size to only 1.1x for 1.2B parameter models. Thirdly, comparing intermediate checkpoints before reaching the target training budgets can be misleading, as rankings between two optimizers can flip during training due to learning rate decay. Through our thorough investigation, we find that all the fastest optimizers such as Muon and Soap, use matrices as preconditioners -- multiplying gradients with matrices rather than entry-wise scalars. However, the speedup of matrix-based optimizers is inversely proportional to model scale, decreasing from 1.4x over AdamW for 0.1B parameter models to merely 1.1x for 1.2B parameter models.