Benchmarken van Optimalisatoren voor Pretraining van Grote Taalmodellen

Benchmarking Optimizers for Large Language Model Pretraining

September 1, 2025

Auteurs: Andrei Semenov, Matteo Pagliardini, Martin Jaggi

cs.AI

Samenvatting

De recente ontwikkeling van Large Language Models (LLM's) is gepaard gegaan met een opwelling van nieuwe ideeën en methoden om het verlies van deep learning-modellen beter te optimaliseren. De beweringen van deze methoden zijn talrijk: van snellere convergentie tot het verwijderen van afhankelijkheid van bepaalde hyperparameters. De diverse experimentele protocollen die worden gebruikt om deze beweringen te valideren, maken echter directe vergelijkingen tussen methoden uitdagend. Deze studie presenteert een uitgebreide evaluatie van recente optimalisatietechnieken in gestandaardiseerde LLM-voorafgaande trainingsscenario's, waarbij systematisch wordt gevarieerd in modelgrootte, batchgrootte en trainingsduur. Door zorgvuldige afstemming van elke methode bieden we praktijkmensen richtlijnen over welke optimizer het meest geschikt is voor elk scenario. Voor onderzoekers benadrukt ons werk veelbelovende richtingen voor toekomstig optimalisatieonderzoek. Ten slotte hopen we, door onze code vrij te geven en alle experimenten volledig reproduceerbaar te maken, dat onze inspanningen kunnen bijdragen aan de ontwikkeling en rigoureuze benchmarking van toekomstige methoden.

English

The recent development of Large Language Models (LLMs) has been accompanied by an effervescence of novel ideas and methods to better optimize the loss of deep learning models. Claims from those methods are myriad: from faster convergence to removing reliance on certain hyperparameters. However, the diverse experimental protocols used to validate these claims make direct comparisons between methods challenging. This study presents a comprehensive evaluation of recent optimization techniques across standardized LLM pretraining scenarios, systematically varying model size, batch size, and training duration. Through careful tuning of each method, we provide guidance to practitioners on which optimizer is best suited for each scenario. For researchers, our work highlights promising directions for future optimization research. Finally, by releasing our code and making all experiments fully reproducible, we hope our efforts can help the development and rigorous benchmarking of future methods.