Управление большими языковыми моделями через масштабирование скорости обучения с группировкой градиентов

Taming LLMs by Scaling Learning Rates with Gradient Grouping

June 1, 2025

Авторы: Siyuan Li, Juanxi Tian, Zedong Wang, Xin Jin, Zicheng Liu, Wentao Zhang, Dan Xu

cs.AI

Аннотация

Обучение крупных языковых моделей (LLM) сопряжено с трудностями из-за их огромного масштаба и гетерогенных архитектур. Хотя адаптивные оптимизаторы, такие как AdamW, помогают справляться с вариациями градиентов, они всё ещё сталкиваются с проблемами эффективной и точной оценки скорости обучения для каждого параметра, что приводит к нестабильности обучения, медленной сходимости и плохой совместимости с методами параметрически эффективной тонкой настройки (PEFT). В данной работе представлен метод Scaling with Gradient Grouping (SGG), обёртка для оптимизатора, которая улучшает оценку адаптивной скорости обучения за счёт динамической группировки и масштабирования для каждой группы. SGG сначала группирует статистики градиентов в каждом слое в кластеры, а затем применяет масштабирование для каждого кластера, чтобы калибровать скорость обучения для каждого параметра, тем самым накладывая коллективные ограничения на уровне групп, сохраняя при этом точную адаптацию для каждого параметра. Эксперименты на различных бенчмарках для (M)LLM показывают, что SGG легко интегрируется с существующими оптимизаторами и обеспечивает стабильные улучшения и более быструю сходимость по сравнению с базовыми методами для моделей различных размеров. Его стабильность при различных размерах батчей и скоростях обучения делает SGG надёжным выбором для оптимизации LLM.

English

Training large language models (LLMs) poses challenges due to their massive scale and heterogeneous architectures. While adaptive optimizers like AdamW help address gradient variations, they still struggle with efficient and effective parameter-wise learning rate estimation, resulting in training instability, slow convergence, and poor compatibility with parameter-efficient fine-tuning (PEFT) techniques. This work introduces Scaling with Gradient Grouping (SGG), an optimizer wrapper that improves adaptive learning rate estimation by dynamic grouping and group-specific scaling. SGG first groups gradient statistics in each layer into clusters and then applies cluster-specific scaling to calibrate learning rates for each parameter, thus imposing collective group-wise constraints while maintaining precise per-parameter adaptation. Experiments on diverse (M)LLM benchmarks show that SGG integrates seamlessly with existing optimizers, and offers consistent gains and faster convergence over baselines, with various model sizes. Its stability across varying batch sizes and learning rates establishes SGG as a robust choice for LLM optimization.