El Sorprendente Acuerdo Entre la Teoría de Optimización Convexa y la Programación de la Tasa de Aprendizaje para el Entrenamiento de Modelos Grandes

The Surprising Agreement Between Convex Optimization Theory and Learning-Rate Scheduling for Large Model Training

January 31, 2025

Autores: Fabian Schaipp, Alexander Hägele, Adrien Taylor, Umut Simsekli, Francis Bach

cs.AI

Resumen

Mostramos que los programas de velocidad de aprendizaje para el entrenamiento de modelos grandes se comportan de manera sorprendentemente similar a un límite de rendimiento de la teoría de optimización convexa no suave. Proporcionamos un límite para el programa constante con enfriamiento lineal; en particular, el beneficio práctico del enfriamiento se refleja en el límite debido a la ausencia de términos logarítmicos. Además, demostramos que esta coincidencia sorprendentemente cercana entre la teoría de optimización y la práctica puede ser aprovechada para la ajuste de la velocidad de aprendizaje: logramos mejoras notables para el entrenamiento de modelos tipo Llama de 124M y 210M mediante (i) la extensión del programa para el entrenamiento continuo con velocidad de aprendizaje óptima, y (ii) la transferencia de la velocidad de aprendizaje óptima entre programas.

English

We show that learning-rate schedules for large model training behave surprisingly similar to a performance bound from non-smooth convex optimization theory. We provide a bound for the constant schedule with linear cooldown; in particular, the practical benefit of cooldown is reflected in the bound due to the absence of logarithmic terms. Further, we show that this surprisingly close match between optimization theory and practice can be exploited for learning-rate tuning: we achieve noticeable improvements for training 124M and 210M Llama-type models by (i) extending the schedule for continued training with optimal learning-rate, and (ii) transferring the optimal learning-rate across schedules.