Evaluación Comparativa de Optimizadores para el Pretrenamiento de Modelos de Lenguaje a Gran Escala

Benchmarking Optimizers for Large Language Model Pretraining

September 1, 2025

Autores: Andrei Semenov, Matteo Pagliardini, Martin Jaggi

cs.AI

Resumen

El reciente desarrollo de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) ha estado acompañado por una efervescencia de ideas y métodos novedosos para optimizar mejor la pérdida de los modelos de aprendizaje profundo. Las afirmaciones de estos métodos son numerosas: desde una convergencia más rápida hasta la eliminación de la dependencia de ciertos hiperparámetros. Sin embargo, los diversos protocolos experimentales utilizados para validar estas afirmaciones dificultan la comparación directa entre métodos. Este estudio presenta una evaluación exhaustiva de técnicas recientes de optimización en escenarios estandarizados de preentrenamiento de LLMs, variando sistemáticamente el tamaño del modelo, el tamaño del lote y la duración del entrenamiento. A través de un ajuste cuidadoso de cada método, ofrecemos orientación a los profesionales sobre qué optimizador es más adecuado para cada escenario. Para los investigadores, nuestro trabajo destaca direcciones prometedoras para futuras investigaciones en optimización. Finalmente, al publicar nuestro código y hacer que todos los experimentos sean completamente reproducibles, esperamos que nuestros esfuerzos puedan contribuir al desarrollo y la evaluación rigurosa de métodos futuros.

English

The recent development of Large Language Models (LLMs) has been accompanied by an effervescence of novel ideas and methods to better optimize the loss of deep learning models. Claims from those methods are myriad: from faster convergence to removing reliance on certain hyperparameters. However, the diverse experimental protocols used to validate these claims make direct comparisons between methods challenging. This study presents a comprehensive evaluation of recent optimization techniques across standardized LLM pretraining scenarios, systematically varying model size, batch size, and training duration. Through careful tuning of each method, we provide guidance to practitioners on which optimizer is best suited for each scenario. For researchers, our work highlights promising directions for future optimization research. Finally, by releasing our code and making all experiments fully reproducible, we hope our efforts can help the development and rigorous benchmarking of future methods.