OmniOpt: 最新最適化手法の分類、幾何、およびベンチマーキング

要旨

大規模モデル学習におけるオプティマイザの選択は、計算資源、メモリ、チューニング予算、タスク多様性によって共同で制約されるシステムレベルの設計判断となっている。しかし、100以上の手法が存在する状況は断片的なままである。そこで我々は、研究コミュニティ向けの統一されたオプティマイザのサーベイおよびベンチマーククックブックであるOmniOptを提案する。OmniOptは4つの連携した構成要素に基づいている。第一に、すべてのオプティマイザの更新を5段階のメタパイプラインを通した構造化変換として捉え、ほとんどの手法がこれらの段階のうち1つまたは2つだけを使用していることを示す。第二に、ノルム制約付き線形最小化オラクル（LMO）を用いて異なるオプティマイザを統合する。第三に、これら2つの視点が二重次元の分類法を基礎付けており、一方の次元では各手法をメカニズムファミリに割り当て、もう一方の次元では改善を目指す測定可能なトレーニング目標を記録する。第四に、そして本論文の核心として、代表的なオプティマイザ、モデル規模、および言語モデルの事前学習から画像分類に至るトレーニング手法を網羅した統一的なクロスドメインベンチマークで完全な分類法を具現化し、複数の効果目標にわたって各手法ファミリを体系的に分析し、そのトレードオフを明らかにする。このようにOmniOptは、明示的なメカニズムと目標の仮定の下でオプティマイザを選択するための実用的な座標系を研究コミュニティに提供し、オプティマイザコミュニティの将来の発展の方向性を示すものである。

English

Optimizer selection for large-scale model training has become a system-level design decision constrained jointly by compute, memory, tuning budget, and task diversity, yet the landscape of over one hundred methods remains fragmented. We therefore present OmniOpt, a unified survey and benchmark cookbook of optimizers for the research community. OmniOpt rests on four coupled components. First, we treat every optimizer update as a structured transformation through a five-stage meta-pipeline, and show that most methods engage only one or two of these stages. Second, we use norm-constrained linear minimization oracles (LMOs) to unify different optimizers. Third, these two views ground a dual-dimension taxonomy, one dimension assigning each method to a mechanism family and the other recording the measurable training objectives it aims to improve. Fourth, and at the core of this paper, we instantiate the full taxonomy in a unified cross-domain benchmark spanning representative optimizers, model scales, and training regimes from language model pretraining to image classification, systematically analyzing each method family across multiple effect objectives and laying out their trade-offs. OmniOpt thus supplies the research community with an operational coordinate system for selecting optimizers under explicit mechanism and objective assumptions, and charts a direction for the future development of the optimizer community.