Zähmung von LLMs durch Skalierung der Lernraten mit Gradientengruppierung

Taming LLMs by Scaling Learning Rates with Gradient Grouping

June 1, 2025

Autoren: Siyuan Li, Juanxi Tian, Zedong Wang, Xin Jin, Zicheng Liu, Wentao Zhang, Dan Xu

cs.AI

Zusammenfassung

Das Training großer Sprachmodelle (LLMs) stellt aufgrund ihres enormen Umfangs und heterogener Architekturen Herausforderungen dar. Obwohl adaptive Optimierer wie AdamW helfen, Gradientenvariationen zu bewältigen, haben sie dennoch Schwierigkeiten mit einer effizienten und effektiven schrittweisen Schätzung der Lernrate für Parameter, was zu Trainingsinstabilität, langsamer Konvergenz und schlechter Kompatibilität mit parameter-effizienten Feinabstimmungstechniken (PEFT) führt. Diese Arbeit stellt Scaling with Gradient Grouping (SGG) vor, einen Optimierer-Wrapper, der die adaptive Schätzung der Lernrate durch dynamische Gruppierung und gruppenspezifische Skalierung verbessert. SGG gruppiert zunächst Gradientenstatistiken in jeder Schicht in Cluster und wendet dann clusterspezifische Skalierung an, um die Lernraten für jeden Parameter zu kalibrieren, wodurch kollektive gruppenweise Einschränkungen auferlegt werden, während gleichzeitig eine präzise Anpassung pro Parameter beibehalten wird. Experimente auf verschiedenen (M)LLM-Benchmarks zeigen, dass SGG nahtlos mit bestehenden Optimierern integriert werden kann und im Vergleich zu Baselines konsistente Verbesserungen und schnellere Konvergenz bei verschiedenen Modellgrößen bietet. Seine Stabilität bei variierenden Batch-Größen und Lernraten etabliert SGG als eine robuste Wahl für die Optimierung von LLMs.

English

Training large language models (LLMs) poses challenges due to their massive scale and heterogeneous architectures. While adaptive optimizers like AdamW help address gradient variations, they still struggle with efficient and effective parameter-wise learning rate estimation, resulting in training instability, slow convergence, and poor compatibility with parameter-efficient fine-tuning (PEFT) techniques. This work introduces Scaling with Gradient Grouping (SGG), an optimizer wrapper that improves adaptive learning rate estimation by dynamic grouping and group-specific scaling. SGG first groups gradient statistics in each layer into clusters and then applies cluster-specific scaling to calibrate learning rates for each parameter, thus imposing collective group-wise constraints while maintaining precise per-parameter adaptation. Experiments on diverse (M)LLM benchmarks show that SGG integrates seamlessly with existing optimizers, and offers consistent gains and faster convergence over baselines, with various model sizes. Its stability across varying batch sizes and learning rates establishes SGG as a robust choice for LLM optimization.