GraLoRA : Adaptation Granulaire à Faible Rang pour un Réglage Fin Efficace en Paramètres

GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

May 26, 2025

Auteurs: Yeonjoon Jung, Daehyun Ahn, Hyungjun Kim, Taesu Kim, Eunhyeok Park

cs.AI

Résumé

L'adaptation à faible rang (LoRA) est une méthode populaire pour le réglage fin efficace en paramètres (PEFT) des modèles génératifs, appréciée pour sa simplicité et son efficacité. Malgré des améliorations récentes, LoRA souffre toujours d'une limitation fondamentale : le surajustement lorsque le goulot d'étranglement est élargi. Elle fonctionne mieux aux rangs 32-64, mais sa précision stagne ou diminue à des rangs plus élevés, restant encore en deçà des performances du réglage fin complet (FFT). Nous identifions la cause profonde comme étant le goulot d'étranglement structurel de LoRA, qui introduit un enchevêtrement des gradients dans les canaux d'entrée non liés et déforme la propagation des gradients. Pour remédier à cela, nous introduisons une nouvelle structure, l'adaptation à faible rang granulaire (GraLoRA), qui partitionne les matrices de poids en sous-blocs, chacun avec son propre adaptateur à faible rang. Avec un coût de calcul ou de stockage négligeable, GraLoRA surmonte les limitations de LoRA, augmente efficacement la capacité de représentation et se rapproche davantage du comportement du FFT. Les expériences sur les benchmarks de génération de code et de raisonnement de bon sens montrent que GraLoRA surpasse systématiquement LoRA et d'autres méthodes de référence, atteignant un gain absolu allant jusqu'à +8,5 % en Pass@1 sur HumanEval+. Ces améliorations se maintiennent quelle que soit la taille du modèle ou les paramètres de rang, faisant de GraLoRA une solution évolutive et robuste pour le PEFT. Le code, les données et les scripts sont disponibles à l'adresse https://github.com/SqueezeBits/GraLoRA.git.

English

Low-Rank Adaptation (LoRA) is a popular method for parameter-efficient fine-tuning (PEFT) of generative models, valued for its simplicity and effectiveness. Despite recent enhancements, LoRA still suffers from a fundamental limitation: overfitting when the bottleneck is widened. It performs best at ranks 32-64, yet its accuracy stagnates or declines at higher ranks, still falling short of full fine-tuning (FFT) performance. We identify the root cause as LoRA's structural bottleneck, which introduces gradient entanglement to the unrelated input channels and distorts gradient propagation. To address this, we introduce a novel structure, Granular Low-Rank Adaptation (GraLoRA) that partitions weight matrices into sub-blocks, each with its own low-rank adapter. With negligible computational or storage cost, GraLoRA overcomes LoRA's limitations, effectively increases the representational capacity, and more closely approximates FFT behavior. Experiments on code generation and commonsense reasoning benchmarks show that GraLoRA consistently outperforms LoRA and other baselines, achieving up to +8.5% absolute gain in Pass@1 on HumanEval+. These improvements hold across model sizes and rank settings, making GraLoRA a scalable and robust solution for PEFT. Code, data, and scripts are available at https://github.com/SqueezeBits/GraLoRA.git