Het temmen van LLM's door het schalen van leerpercentages met gradiëntgroepering

Taming LLMs by Scaling Learning Rates with Gradient Grouping

June 1, 2025

Auteurs: Siyuan Li, Juanxi Tian, Zedong Wang, Xin Jin, Zicheng Liu, Wentao Zhang, Dan Xu

cs.AI

Samenvatting

Het trainen van grote taalmmodellen (LLM's) brengt uitdagingen met zich mee vanwege hun enorme schaal en heterogene architecturen. Hoewel adaptieve optimalisatie-algoritmen zoals AdamW helpen bij het aanpakken van gradiëntvariaties, hebben ze nog steeds moeite met efficiënte en effectieve parameterspecifieke leersnelheidsschatting, wat resulteert in trainingsinstabiliteit, trage convergentie en slechte compatibiliteit met parameter-efficiënte fine-tuningtechnieken (PEFT). Dit werk introduceert Scaling with Gradient Grouping (SGG), een optimalisatie-wrapper die adaptieve leersnelheidsschatting verbetert door dynamische groepering en groepsspecifieke schaling. SGG groepeert eerst gradiëntstatistieken in elke laag in clusters en past vervolgens clusterspecifieke schaling toe om de leersnelheden voor elke parameter te kalibreren, waardoor collectieve groepsspecifieke beperkingen worden opgelegd terwijl precieze parameterspecifieke aanpassing behouden blijft. Experimenten op diverse (M)LLM-benchmarks tonen aan dat SGG naadloos integreert met bestaande optimalisatie-algoritmen en consistente verbeteringen en snellere convergentie biedt ten opzichte van baseline-methoden, bij verschillende modelgroottes. De stabiliteit van SGG bij variërende batchgroottes en leersnelheden maakt het tot een robuuste keuze voor LLM-optimalisatie.

English

Training large language models (LLMs) poses challenges due to their massive scale and heterogeneous architectures. While adaptive optimizers like AdamW help address gradient variations, they still struggle with efficient and effective parameter-wise learning rate estimation, resulting in training instability, slow convergence, and poor compatibility with parameter-efficient fine-tuning (PEFT) techniques. This work introduces Scaling with Gradient Grouping (SGG), an optimizer wrapper that improves adaptive learning rate estimation by dynamic grouping and group-specific scaling. SGG first groups gradient statistics in each layer into clusters and then applies cluster-specific scaling to calibrate learning rates for each parameter, thus imposing collective group-wise constraints while maintaining precise per-parameter adaptation. Experiments on diverse (M)LLM benchmarks show that SGG integrates seamlessly with existing optimizers, and offers consistent gains and faster convergence over baselines, with various model sizes. Its stability across varying batch sizes and learning rates establishes SGG as a robust choice for LLM optimization.