Der Weg mit weniger Zeitplanung

The Road Less Scheduled

May 24, 2024

Autoren: Aaron Defazio, Xingyu, Yang, Harsh Mehta, Konstantin Mishchenko, Ahmed Khaled, Ashok Cutkosky

cs.AI

Zusammenfassung

Bestehende Lernratenpläne, die keine Angabe des Optimierungsschrittstopps T erfordern, werden deutlich von Lernratenplänen übertroffen, die von T abhängen. Wir schlagen einen Ansatz vor, der auf die Notwendigkeit dieser Stoppzeit verzichtet, indem er vollständig auf Pläne verzichtet, während er im Vergleich zu Plänen bei einer breiten Palette von Problemen von konvexen Problemen bis hin zu groß angelegten Deep-Learning-Problemen eine Spitzenleistung zeigt. Unser planfreier Ansatz führt keine zusätzlichen Hyperparameter im Vergleich zu Standardoptimierern mit Schwung ein. Unsere Methode ist eine direkte Konsequenz einer neuen Theorie, die wir entwickeln, die Planung und Iterationsmittelung vereint. Eine Open-Source-Implementierung unserer Methode ist verfügbar (https://github.com/facebookresearch/schedule_free).

English

Existing learning rate schedules that do not require specification of the optimization stopping step T are greatly out-performed by learning rate schedules that depend on T. We propose an approach that avoids the need for this stopping time by eschewing the use of schedules entirely, while exhibiting state-of-the-art performance compared to schedules across a wide family of problems ranging from convex problems to large-scale deep learning problems. Our Schedule-Free approach introduces no additional hyper-parameters over standard optimizers with momentum. Our method is a direct consequence of a new theory we develop that unifies scheduling and iterate averaging. An open source implementation of our method is available (https://github.com/facebookresearch/schedule_free).