Ótimos Otimizadores de Pré-treinamento e Onde Encontrá-los

Fantastic Pretraining Optimizers and Where to Find Them

September 2, 2025

Autores: Kaiyue Wen, David Hall, Tengyu Ma, Percy Liang

cs.AI

Resumo

O AdamW tem sido o otimizador dominante no pré-treinamento de modelos de linguagem, apesar de inúmeras alegações de que otimizadores alternativos oferecem acelerações de 1,4 a 2x. Propomos que duas deficiências metodológicas têm obscurecido comparações justas e dificultado a adoção prática: (i) ajuste desigual de hiperparâmetros e (ii) configurações de avaliação limitadas ou enganosas. Para abordar essas duas questões, realizamos um estudo sistemático de dez otimizadores de aprendizado profundo em quatro escalas de modelos (0,1B-1,2B parâmetros) e proporções de dados para modelos (1-8x o ótimo de Chinchilla). Descobrimos que comparações justas e informativas exigem ajuste rigoroso de hiperparâmetros e avaliações em uma variedade de escalas de modelos e proporções de dados para modelos, realizadas ao final do treinamento. Primeiro, hiperparâmetros ótimos para um otimizador podem ser subótimos para outro, tornando a transferência cega de hiperparâmetros injusta. Segundo, a aceleração real de muitos otimizadores propostos em relação a baselines bem ajustadas é menor do que a alegada e diminui com o tamanho do modelo para apenas 1,1x em modelos com 1,2B parâmetros. Terceiro, comparar checkpoints intermediários antes de atingir os orçamentos de treinamento alvo pode ser enganoso, pois as classificações entre dois otimizadores podem inverter durante o treinamento devido ao decaimento da taxa de aprendizado. Através de nossa investigação minuciosa, descobrimos que todos os otimizadores mais rápidos, como Muon e Soap, usam matrizes como precondicionadores — multiplicando gradientes com matrizes em vez de escalares elemento a elemento. No entanto, a aceleração dos otimizadores baseados em matrizes é inversamente proporcional à escala do modelo, diminuindo de 1,4x sobre o AdamW para modelos com 0,1B parâmetros para meros 1,1x para modelos com 1,2B parâmetros.

English

AdamW has long been the dominant optimizer in language model pretraining, despite numerous claims that alternative optimizers offer 1.4 to 2x speedup. We posit that two methodological shortcomings have obscured fair comparisons and hindered practical adoption: (i) unequal hyperparameter tuning and (ii) limited or misleading evaluation setups. To address these two issues, we conduct a systematic study of ten deep learning optimizers across four model scales (0.1B-1.2B parameters) and data-to-model ratios (1-8x the Chinchilla optimum). We find that fair and informative comparisons require rigorous hyperparameter tuning and evaluations across a range of model scales and data-to-model ratios, performed at the end of training. First, optimal hyperparameters for one optimizer may be suboptimal for another, making blind hyperparameter transfer unfair. Second, the actual speedup of many proposed optimizers over well-tuned baselines is lower than claimed and decreases with model size to only 1.1x for 1.2B parameter models. Thirdly, comparing intermediate checkpoints before reaching the target training budgets can be misleading, as rankings between two optimizers can flip during training due to learning rate decay. Through our thorough investigation, we find that all the fastest optimizers such as Muon and Soap, use matrices as preconditioners -- multiplying gradients with matrices rather than entry-wise scalars. However, the speedup of matrix-based optimizers is inversely proportional to model scale, decreasing from 1.4x over AdamW for 0.1B parameter models to merely 1.1x for 1.2B parameter models.