Фантастические оптимизаторы для предварительного обучения и где их найти

Fantastic Pretraining Optimizers and Where to Find Them

September 2, 2025

Авторы: Kaiyue Wen, David Hall, Tengyu Ma, Percy Liang

cs.AI

Аннотация

AdamW долгое время оставался доминирующим оптимизатором при предварительном обучении языковых моделей, несмотря на многочисленные заявления о том, что альтернативные оптимизаторы обеспечивают ускорение в 1,4–2 раза. Мы предполагаем, что два методологических недостатка затрудняли объективные сравнения и препятствовали практическому внедрению: (i) неравномерная настройка гиперпараметров и (ii) ограниченные или вводящие в заблуждение условия оценки. Чтобы устранить эти проблемы, мы провели систематическое исследование десяти оптимизаторов глубокого обучения на четырех масштабах моделей (0,1–1,2 млрд параметров) и соотношениях данных к модели (1–8x от оптимума Chinchilla). Мы обнаружили, что для объективных и информативных сравнений требуется тщательная настройка гиперпараметров и оценка на различных масштабах моделей и соотношениях данных к модели, проводимая по завершении обучения. Во-первых, оптимальные гиперпараметры для одного оптимизатора могут быть неоптимальными для другого, что делает слепой перенос гиперпараметров несправедливым. Во-вторых, фактическое ускорение многих предлагаемых оптимизаторов по сравнению с хорошо настроенными базовыми вариантами оказывается ниже заявленного и уменьшается с увеличением размера модели, достигая лишь 1,1x для моделей с 1,2 млрд параметров. В-третьих, сравнение промежуточных контрольных точек до достижения целевого бюджета обучения может вводить в заблуждение, так как ранги двух оптимизаторов могут меняться в процессе обучения из-за затухания скорости обучения. В ходе нашего тщательного исследования мы обнаружили, что все самые быстрые оптимизаторы, такие как Muon и Soap, используют матрицы в качестве предобуславливателей — умножая градиенты на матрицы, а не поэлементно на скаляры. Однако ускорение матричных оптимизаторов обратно пропорционально масштабу модели, уменьшаясь с 1,4x по сравнению с AdamW для моделей с 0,1 млрд параметров до всего лишь 1,1x для моделей с 1,2 млрд параметров.

English

AdamW has long been the dominant optimizer in language model pretraining, despite numerous claims that alternative optimizers offer 1.4 to 2x speedup. We posit that two methodological shortcomings have obscured fair comparisons and hindered practical adoption: (i) unequal hyperparameter tuning and (ii) limited or misleading evaluation setups. To address these two issues, we conduct a systematic study of ten deep learning optimizers across four model scales (0.1B-1.2B parameters) and data-to-model ratios (1-8x the Chinchilla optimum). We find that fair and informative comparisons require rigorous hyperparameter tuning and evaluations across a range of model scales and data-to-model ratios, performed at the end of training. First, optimal hyperparameters for one optimizer may be suboptimal for another, making blind hyperparameter transfer unfair. Second, the actual speedup of many proposed optimizers over well-tuned baselines is lower than claimed and decreases with model size to only 1.1x for 1.2B parameter models. Thirdly, comparing intermediate checkpoints before reaching the target training budgets can be misleading, as rankings between two optimizers can flip during training due to learning rate decay. Through our thorough investigation, we find that all the fastest optimizers such as Muon and Soap, use matrices as preconditioners -- multiplying gradients with matrices rather than entry-wise scalars. However, the speedup of matrix-based optimizers is inversely proportional to model scale, decreasing from 1.4x over AdamW for 0.1B parameter models to merely 1.1x for 1.2B parameter models.