Avaliação Comparativa de Otimizadores para o Pré-treinamento de Modelos de Linguagem de Grande Escala

Benchmarking Optimizers for Large Language Model Pretraining

September 1, 2025

Autores: Andrei Semenov, Matteo Pagliardini, Martin Jaggi

cs.AI

Resumo

O recente desenvolvimento dos Modelos de Linguagem de Grande Escala (LLMs) tem sido acompanhado por uma efervescência de novas ideias e métodos para otimizar melhor a perda de modelos de aprendizado profundo. As alegações desses métodos são diversas: desde convergência mais rápida até a eliminação da dependência de certos hiperparâmetros. No entanto, os diversos protocolos experimentais utilizados para validar essas alegações tornam as comparações diretas entre os métodos desafiadoras. Este estudo apresenta uma avaliação abrangente de técnicas recentes de otimização em cenários padronizados de pré-treinamento de LLMs, variando sistematicamente o tamanho do modelo, o tamanho do lote e a duração do treinamento. Por meio de um ajuste cuidadoso de cada método, fornecemos orientações para profissionais sobre qual otimizador é mais adequado para cada cenário. Para pesquisadores, nosso trabalho destaca direções promissoras para futuras pesquisas em otimização. Por fim, ao disponibilizar nosso código e tornar todos os experimentos totalmente reproduzíveis, esperamos que nossos esforços possam contribuir para o desenvolvimento e a avaliação rigorosa de métodos futuros.

English

The recent development of Large Language Models (LLMs) has been accompanied by an effervescence of novel ideas and methods to better optimize the loss of deep learning models. Claims from those methods are myriad: from faster convergence to removing reliance on certain hyperparameters. However, the diverse experimental protocols used to validate these claims make direct comparisons between methods challenging. This study presents a comprehensive evaluation of recent optimization techniques across standardized LLM pretraining scenarios, systematically varying model size, batch size, and training duration. Through careful tuning of each method, we provide guidance to practitioners on which optimizer is best suited for each scenario. For researchers, our work highlights promising directions for future optimization research. Finally, by releasing our code and making all experiments fully reproducible, we hope our efforts can help the development and rigorous benchmarking of future methods.