Шаг обучения для всего: унифицированный график скорости обучения для тренировки с ограниченным числом итераций

Stepsize anything: A unified learning rate schedule for budgeted-iteration training

May 30, 2025

Авторы: Anda Tang, Yiming Dong, Yutao Zeng, zhou Xun, Zhouchen Lin

cs.AI

Аннотация

Растущие вычислительные затраты и ограниченные ресурсы подчеркивают критическую необходимость в обучении с ограниченным бюджетом итераций, которое направлено на достижение оптимального обучения в рамках заранее заданных бюджетов итераций. Хотя графики изменения скорости обучения фундаментально определяют производительность различных сетей и задач, особенно в сценариях с ограниченным бюджетом итераций, их проектирование остается в значительной степени эвристическим, не имеющим теоретических оснований. Кроме того, оптимальный график изменения скорости обучения требует обширного подбора методом проб и ошибок, что делает процесс обучения неэффективным. В данной работе мы предлагаем унифицированный график, учитывающий бюджет (Unified Budget-Aware, UBA), — теоретически обоснованный график изменения скорости обучения, который стабильно превосходит широко используемые графики среди различных архитектур и задач при разных ограниченных бюджетах обучения. Сначала мы устраняем разрыв, создавая новую оптимизационную структуру, учитывающую бюджет обучения, которая явно учитывает устойчивость к вариациям кривизны ландшафта. Из этой структуры мы выводим график UBA, управляемый единственным гиперпараметром varphi, который обеспечивает компромисс между гибкостью и простотой, устраняя необходимость в численной оптимизации для каждой сети. Более того, мы устанавливаем теоретическую связь между varphi и числом обусловленности, добавляя интерпретацию и обоснование нашему подходу. Кроме того, мы доказываем сходимость для различных значений varphi. Мы предлагаем практические рекомендации по его выбору на основе теоретического анализа и эмпирических результатов. Обширные экспериментальные результаты показывают, что UBA стабильно превосходит широко используемые графики в различных задачах обработки изображений и текста, охватывающих архитектуры сетей (например, ResNet, OLMo) и масштабы, при разных бюджетах итераций обучения.

English

The expanding computational costs and limited resources underscore the critical need for budgeted-iteration training, which aims to achieve optimal learning within predetermined iteration budgets.While learning rate schedules fundamentally govern the performance of different networks and tasks, particularly in budgeted-iteration scenarios, their design remains largely heuristic, lacking theoretical foundations.In addition, the optimal learning rate schedule requires extensive trial-and-error selection, making the training process inefficient.In this work, we propose the Unified Budget-Aware (UBA) schedule, a theoretically grounded learning rate schedule that consistently outperforms commonly-used schedules among diverse architectures and tasks under different constrained training budgets.First, we bridge the gap by constructing a novel training budget-aware optimization framework, which explicitly accounts for the robustness to landscape curvature variations.From this framework, we derive the UBA schedule, controlled by a single hyper-parameter varphi that provides a trade-off between flexibility and simplicity, eliminating the need for per-network numerical optimization. Moreover, we establish a theoretical connection between varphi and the condition number, adding interpretation and justification to our approach. Besides, we prove the convergence for different values of varphi.We offer practical guidelines for its selection via theoretical analysis and empirical results.xtensive experimental results show that UBA consistently surpasses the commonly-used schedules across diverse vision and language tasks, spanning network architectures (e.g., ResNet, OLMo) and scales, under different training-iteration budgets.