Benchmarking von Optimierern für das Pretraining großer Sprachmodelle

Benchmarking Optimizers for Large Language Model Pretraining

September 1, 2025

papers.authors: Andrei Semenov, Matteo Pagliardini, Martin Jaggi

cs.AI

papers.abstract

Die jüngste Entwicklung von Large Language Models (LLMs) wurde von einer Vielzahl neuer Ideen und Methoden begleitet, die darauf abzielen, den Verlust von Deep-Learning-Modellen besser zu optimieren. Die Behauptungen dieser Methoden sind vielfältig: von schnellerer Konvergenz bis hin zur Unabhängigkeit von bestimmten Hyperparametern. Die unterschiedlichen experimentellen Protokolle, die zur Validierung dieser Behauptungen verwendet werden, erschweren jedoch den direkten Vergleich zwischen den Methoden. Diese Studie präsentiert eine umfassende Bewertung aktueller Optimierungstechniken in standardisierten LLM-Vortrainingsszenarien, wobei systematisch Modellgröße, Batch-Größe und Trainingsdauer variiert werden. Durch sorgfältige Abstimmung jeder Methode bieten wir Praktikern Leitlinien, welcher Optimierer für welches Szenario am besten geeignet ist. Für Forscher hebt unsere Arbeit vielversprechende Richtungen für zukünftige Optimierungsforschung hervor. Schließlich hoffen wir, dass unsere Bemühungen durch die Veröffentlichung unseres Codes und die vollständige Reproduzierbarkeit aller Experimente die Entwicklung und rigorose Bewertung zukünftiger Methoden unterstützen können.

English

The recent development of Large Language Models (LLMs) has been accompanied by an effervescence of novel ideas and methods to better optimize the loss of deep learning models. Claims from those methods are myriad: from faster convergence to removing reliance on certain hyperparameters. However, the diverse experimental protocols used to validate these claims make direct comparisons between methods challenging. This study presents a comprehensive evaluation of recent optimization techniques across standardized LLM pretraining scenarios, systematically varying model size, batch size, and training duration. Through careful tuning of each method, we provide guidance to practitioners on which optimizer is best suited for each scenario. For researchers, our work highlights promising directions for future optimization research. Finally, by releasing our code and making all experiments fully reproducible, we hope our efforts can help the development and rigorous benchmarking of future methods.