그래디언트 그룹화를 통해 학습률을 조정하여 LLMs(대형 언어 모델) 제어하기

초록

대규모 언어 모델(LLM)을 학습시키는 것은 그 방대한 규모와 이질적인 아키텍처로 인해 여러 도전 과제를 안고 있습니다. AdamW와 같은 적응형 최적화 기법이 그래디언트 변동을 해결하는 데 도움을 주지만, 여전히 매개변수별 학습률 추정의 효율성과 효과성에 어려움을 겪으며, 이는 학습 불안정성, 느린 수렴 속도, 그리고 매개변수 효율적 미세 조정(PEFT) 기법과의 낮은 호환성으로 이어집니다. 본 연구에서는 동적 그룹화와 그룹별 스케일링을 통해 적응형 학습률 추정을 개선하는 최적화기 래퍼인 Scaling with Gradient Grouping(SGG)을 소개합니다. SGG는 먼저 각 계층의 그래디언트 통계를 클러스터로 그룹화한 후, 클러스터별 스케일링을 적용하여 각 매개변수의 학습률을 보정함으로써, 정밀한 매개변수별 적응을 유지하면서도 집단적 그룹별 제약을 부과합니다. 다양한 (M)LLM 벤치마크에서의 실험 결과, SGG는 기존 최적화기와 원활하게 통합되며, 다양한 모델 크기에 걸쳐 일관된 성능 향상과 더 빠른 수렴 속도를 보여줍니다. 또한, 다양한 배치 크기와 학습률에서의 안정성은 SGG를 LLM 최적화를 위한 강력한 선택지로 자리매김합니다.

English

Training large language models (LLMs) poses challenges due to their massive scale and heterogeneous architectures. While adaptive optimizers like AdamW help address gradient variations, they still struggle with efficient and effective parameter-wise learning rate estimation, resulting in training instability, slow convergence, and poor compatibility with parameter-efficient fine-tuning (PEFT) techniques. This work introduces Scaling with Gradient Grouping (SGG), an optimizer wrapper that improves adaptive learning rate estimation by dynamic grouping and group-specific scaling. SGG first groups gradient statistics in each layer into clusters and then applies cluster-specific scaling to calibrate learning rates for each parameter, thus imposing collective group-wise constraints while maintaining precise per-parameter adaptation. Experiments on diverse (M)LLM benchmarks show that SGG integrates seamlessly with existing optimizers, and offers consistent gains and faster convergence over baselines, with various model sizes. Its stability across varying batch sizes and learning rates establishes SGG as a robust choice for LLM optimization.

그래디언트 그룹화를 통해 학습률을 조정하여 LLMs(대형 언어 모델) 제어하기

Taming LLMs by Scaling Learning Rates with Gradient Grouping

초록

Support