Tamaño de paso universal: Un programa de tasa de aprendizaje unificado para entrenamiento con iteraciones presupuestadas

Stepsize anything: A unified learning rate schedule for budgeted-iteration training

May 30, 2025

Autores: Anda Tang, Yiming Dong, Yutao Zeng, zhou Xun, Zhouchen Lin

cs.AI

Resumen

Los crecientes costos computacionales y los recursos limitados subrayan la necesidad crítica de un entrenamiento con iteraciones presupuestadas, que busca lograr un aprendizaje óptimo dentro de presupuestos de iteración predeterminados. Si bien los programas de tasas de aprendizaje gobiernan fundamentalmente el rendimiento de diferentes redes y tareas, especialmente en escenarios de iteraciones presupuestadas, su diseño sigue siendo en gran medida heurístico, careciendo de fundamentos teóricos. Además, el programa óptimo de tasas de aprendizaje requiere una extensa selección por prueba y error, lo que hace que el proceso de entrenamiento sea ineficiente. En este trabajo, proponemos el programa Unificado Consciente del Presupuesto (UBA), un programa de tasas de aprendizaje fundamentado teóricamente que supera consistentemente los programas comúnmente utilizados en diversas arquitecturas y tareas bajo diferentes presupuestos de entrenamiento restringidos. Primero, cerramos la brecha construyendo un novedoso marco de optimización consciente del presupuesto de entrenamiento, que explícitamente tiene en cuenta la robustez a las variaciones de curvatura del paisaje. A partir de este marco, derivamos el programa UBA, controlado por un único hiperparámetro varphi que ofrece un equilibrio entre flexibilidad y simplicidad, eliminando la necesidad de optimización numérica por red. Además, establecemos una conexión teórica entre varphi y el número de condición, añadiendo interpretación y justificación a nuestro enfoque. También demostramos la convergencia para diferentes valores de varphi. Ofrecemos pautas prácticas para su selección mediante análisis teórico y resultados empíricos. Los extensos resultados experimentales muestran que UBA supera consistentemente los programas comúnmente utilizados en diversas tareas de visión y lenguaje, abarcando arquitecturas de red (por ejemplo, ResNet, OLMo) y escalas, bajo diferentes presupuestos de iteraciones de entrenamiento.

English

The expanding computational costs and limited resources underscore the critical need for budgeted-iteration training, which aims to achieve optimal learning within predetermined iteration budgets.While learning rate schedules fundamentally govern the performance of different networks and tasks, particularly in budgeted-iteration scenarios, their design remains largely heuristic, lacking theoretical foundations.In addition, the optimal learning rate schedule requires extensive trial-and-error selection, making the training process inefficient.In this work, we propose the Unified Budget-Aware (UBA) schedule, a theoretically grounded learning rate schedule that consistently outperforms commonly-used schedules among diverse architectures and tasks under different constrained training budgets.First, we bridge the gap by constructing a novel training budget-aware optimization framework, which explicitly accounts for the robustness to landscape curvature variations.From this framework, we derive the UBA schedule, controlled by a single hyper-parameter varphi that provides a trade-off between flexibility and simplicity, eliminating the need for per-network numerical optimization. Moreover, we establish a theoretical connection between varphi and the condition number, adding interpretation and justification to our approach. Besides, we prove the convergence for different values of varphi.We offer practical guidelines for its selection via theoretical analysis and empirical results.xtensive experimental results show that UBA consistently surpasses the commonly-used schedules across diverse vision and language tasks, spanning network architectures (e.g., ResNet, OLMo) and scales, under different training-iteration budgets.