スケジュールされざる道

The Road Less Scheduled

May 24, 2024

著者: Aaron Defazio, Xingyu, Yang, Harsh Mehta, Konstantin Mishchenko, Ahmed Khaled, Ashok Cutkosky

cs.AI

要旨

最適化の停止ステップTを指定する必要がない既存の学習率スケジュールは、Tに依存する学習率スケジュールに大きく劣っています。本論文では、スケジュールの使用を完全に避けることでこの停止時間を不要にしつつ、凸問題から大規模な深層学習問題に至る幅広い問題群において、スケジュールと比較して最先端の性能を発揮するアプローチを提案します。我々のSchedule-Freeアプローチは、モーメンタムを備えた標準的なオプティマイザに対して追加のハイパーパラメータを導入しません。本手法は、スケジュールと反復平均化を統合する新たな理論から直接導かれたものです。本手法のオープンソース実装は以下で公開されています (https://github.com/facebookresearch/schedule_free)。

English

Existing learning rate schedules that do not require specification of the optimization stopping step T are greatly out-performed by learning rate schedules that depend on T. We propose an approach that avoids the need for this stopping time by eschewing the use of schedules entirely, while exhibiting state-of-the-art performance compared to schedules across a wide family of problems ranging from convex problems to large-scale deep learning problems. Our Schedule-Free approach introduces no additional hyper-parameters over standard optimizers with momentum. Our method is a direct consequence of a new theory we develop that unifies scheduling and iterate averaging. An open source implementation of our method is available (https://github.com/facebookresearch/schedule_free).