Fantásticos optimizadores de preentrenamiento y dónde encontrarlos

Fantastic Pretraining Optimizers and Where to Find Them

September 2, 2025

Autores: Kaiyue Wen, David Hall, Tengyu Ma, Percy Liang

cs.AI

Resumen

AdamW ha sido durante mucho tiempo el optimizador dominante en el preentrenamiento de modelos de lenguaje, a pesar de las numerosas afirmaciones de que optimizadores alternativos ofrecen una aceleración de 1.4 a 2 veces. Proponemos que dos deficiencias metodológicas han oscurecido comparaciones justas y han obstaculizado la adopción práctica: (i) ajuste desigual de hiperparámetros y (ii) configuraciones de evaluación limitadas o engañosas. Para abordar estos dos problemas, realizamos un estudio sistemático de diez optimizadores de aprendizaje profundo en cuatro escalas de modelos (0.1B-1.2B parámetros) y proporciones de datos a modelos (1-8 veces el óptimo de Chinchilla). Encontramos que las comparaciones justas e informativas requieren un ajuste riguroso de hiperparámetros y evaluaciones en un rango de escalas de modelos y proporciones de datos a modelos, realizadas al final del entrenamiento. Primero, los hiperparámetros óptimos para un optimizador pueden ser subóptimos para otro, lo que hace que la transferencia ciega de hiperparámetros sea injusta. Segundo, la aceleración real de muchos optimizadores propuestos sobre líneas base bien ajustadas es menor de lo que se afirma y disminuye con el tamaño del modelo a solo 1.1 veces para modelos de 1.2B parámetros. Tercero, comparar puntos de control intermedios antes de alcanzar los presupuestos de entrenamiento objetivo puede ser engañoso, ya que las clasificaciones entre dos optimizadores pueden invertirse durante el entrenamiento debido a la disminución de la tasa de aprendizaje. A través de nuestra investigación exhaustiva, encontramos que todos los optimizadores más rápidos, como Muon y Soap, utilizan matrices como precondicionadores, multiplicando los gradientes con matrices en lugar de escalares elemento por elemento. Sin embargo, la aceleración de los optimizadores basados en matrices es inversamente proporcional a la escala del modelo, disminuyendo de 1.4 veces sobre AdamW para modelos de 0.1B parámetros a apenas 1.1 veces para modelos de 1.2B parámetros.

English

AdamW has long been the dominant optimizer in language model pretraining, despite numerous claims that alternative optimizers offer 1.4 to 2x speedup. We posit that two methodological shortcomings have obscured fair comparisons and hindered practical adoption: (i) unequal hyperparameter tuning and (ii) limited or misleading evaluation setups. To address these two issues, we conduct a systematic study of ten deep learning optimizers across four model scales (0.1B-1.2B parameters) and data-to-model ratios (1-8x the Chinchilla optimum). We find that fair and informative comparisons require rigorous hyperparameter tuning and evaluations across a range of model scales and data-to-model ratios, performed at the end of training. First, optimal hyperparameters for one optimizer may be suboptimal for another, making blind hyperparameter transfer unfair. Second, the actual speedup of many proposed optimizers over well-tuned baselines is lower than claimed and decreases with model size to only 1.1x for 1.2B parameter models. Thirdly, comparing intermediate checkpoints before reaching the target training budgets can be misleading, as rankings between two optimizers can flip during training due to learning rate decay. Through our thorough investigation, we find that all the fastest optimizers such as Muon and Soap, use matrices as preconditioners -- multiplying gradients with matrices rather than entry-wise scalars. However, the speedup of matrix-based optimizers is inversely proportional to model scale, decreasing from 1.4x over AdamW for 0.1B parameter models to merely 1.1x for 1.2B parameter models.