De Verbazende Overeenkomst Tussen Convexe Optimalisatietheorie en Leerplanschema's voor Training van Grote Modellen

The Surprising Agreement Between Convex Optimization Theory and Learning-Rate Scheduling for Large Model Training

January 31, 2025

Auteurs: Fabian Schaipp, Alexander Hägele, Adrien Taylor, Umut Simsekli, Francis Bach

cs.AI

Samenvatting

We laten zien dat leersnelheidsschema's voor het trainen van grote modellen zich verrassend vergelijkbaar gedragen met een prestatiegebonden uit de theorie van niet-gladde convexe optimalisatie. We geven een grens voor het constante schema met lineaire afkoeling; in het bijzonder wordt het praktische voordeel van afkoeling weerspiegeld in de grens door het ontbreken van logaritmische termen. Verder tonen we aan dat deze verrassend nauwe overeenkomst tussen optimalisatietheorie en praktijk kan worden benut voor het afstemmen van leersnelheden: we behalen merkbare verbeteringen voor het trainen van 124M en 210M Llama-type modellen door (i) het uitbreiden van het schema voor voortgezette training met optimale leersnelheid, en (ii) het overdragen van de optimale leersnelheid tussen schema's.

English

We show that learning-rate schedules for large model training behave surprisingly similar to a performance bound from non-smooth convex optimization theory. We provide a bound for the constant schedule with linear cooldown; in particular, the practical benefit of cooldown is reflected in the bound due to the absence of logarithmic terms. Further, we show that this surprisingly close match between optimization theory and practice can be exploited for learning-rate tuning: we achieve noticeable improvements for training 124M and 210M Llama-type models by (i) extending the schedule for continued training with optimal learning-rate, and (ii) transferring the optimal learning-rate across schedules.