Fantastici Ottimizzatori per Pretraining e Dove Trovarli

Fantastic Pretraining Optimizers and Where to Find Them

September 2, 2025

Autori: Kaiyue Wen, David Hall, Tengyu Ma, Percy Liang

cs.AI

Abstract

AdamW è stato a lungo l'ottimizzatore dominante nel pretraining dei modelli linguistici, nonostante numerose affermazioni secondo cui ottimizzatori alternativi offrono un'accelerazione da 1,4 a 2 volte. Proponiamo che due carenze metodologiche abbiano oscurato confronti equi e ostacolato l'adozione pratica: (i) una sintonizzazione iperparametrica diseguale e (ii) configurazioni di valutazione limitate o fuorvianti. Per affrontare questi due problemi, conduciamo uno studio sistematico di dieci ottimizzatori di deep learning su quattro scale di modelli (da 0,1 a 1,2 miliardi di parametri) e rapporti dati-modello (da 1 a 8 volte l'ottimo di Chinchilla). Scopriamo che confronti equi e informativi richiedono una rigorosa sintonizzazione iperparametrica e valutazioni su un'ampia gamma di scale di modelli e rapporti dati-modello, eseguite al termine dell'addestramento. In primo luogo, gli iperparametri ottimali per un ottimizzatore possono essere subottimali per un altro, rendendo ingiusto il trasferimento cieco degli iperparametri. In secondo luogo, l'effettiva accelerazione di molti ottimizzatori proposti rispetto a baseline ben sintonizzate è inferiore a quanto dichiarato e diminuisce con la dimensione del modello, arrivando a solo 1,1 volte per modelli da 1,2 miliardi di parametri. In terzo luogo, confrontare checkpoint intermedi prima di raggiungere i budget di addestramento target può essere fuorviante, poiché le classificazioni tra due ottimizzatori possono invertirsi durante l'addestramento a causa del decadimento del tasso di apprendimento. Attraverso la nostra indagine approfondita, scopriamo che tutti gli ottimizzatori più veloci, come Muon e Soap, utilizzano matrici come precondizionatori, moltiplicando i gradienti con matrici anziché con scalari elemento per elemento. Tuttavia, l'accelerazione degli ottimizzatori basati su matrici è inversamente proporzionale alla scala del modello, diminuendo da 1,4 volte rispetto ad AdamW per modelli da 0,1 miliardi di parametri a soli 1,1 volte per modelli da 1,2 miliardi di parametri.

English

AdamW has long been the dominant optimizer in language model pretraining, despite numerous claims that alternative optimizers offer 1.4 to 2x speedup. We posit that two methodological shortcomings have obscured fair comparisons and hindered practical adoption: (i) unequal hyperparameter tuning and (ii) limited or misleading evaluation setups. To address these two issues, we conduct a systematic study of ten deep learning optimizers across four model scales (0.1B-1.2B parameters) and data-to-model ratios (1-8x the Chinchilla optimum). We find that fair and informative comparisons require rigorous hyperparameter tuning and evaluations across a range of model scales and data-to-model ratios, performed at the end of training. First, optimal hyperparameters for one optimizer may be suboptimal for another, making blind hyperparameter transfer unfair. Second, the actual speedup of many proposed optimizers over well-tuned baselines is lower than claimed and decreases with model size to only 1.1x for 1.2B parameter models. Thirdly, comparing intermediate checkpoints before reaching the target training budgets can be misleading, as rankings between two optimizers can flip during training due to learning rate decay. Through our thorough investigation, we find that all the fastest optimizers such as Muon and Soap, use matrices as preconditioners -- multiplying gradients with matrices rather than entry-wise scalars. However, the speedup of matrix-based optimizers is inversely proportional to model scale, decreasing from 1.4x over AdamW for 0.1B parameter models to merely 1.1x for 1.2B parameter models.