GraLoRA: Granulaire Laag-Rang Aanpassing voor Parameter-Efficiënte Fijnafstemming

GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

May 26, 2025

Auteurs: Yeonjoon Jung, Daehyun Ahn, Hyungjun Kim, Taesu Kim, Eunhyeok Park

cs.AI

Samenvatting

Low-Rank Adaptation (LoRA) is een populaire methode voor parameter-efficiënte fine-tuning (PEFT) van generatieve modellen, gewaardeerd om zijn eenvoud en effectiviteit. Ondanks recente verbeteringen, kampt LoRA nog steeds met een fundamentele beperking: overfitting wanneer het bottleneck wordt verbreed. Het presteert het beste bij ranks 32-64, maar de nauwkeurigheid stagneert of daalt bij hogere ranks, en blijft nog steeds achter bij de prestaties van volledige fine-tuning (FFT). Wij identificeren de oorzaak als LoRA's structurele bottleneck, die gradientverstrengeling introduceert bij de niet-gerelateerde invoerkanalen en de gradientpropagatie vervormt. Om dit aan te pakken, introduceren we een nieuwe structuur, Granular Low-Rank Adaptation (GraLoRA), die gewichtsmatrices opdeelt in subblokken, elk met zijn eigen low-rank adapter. Met verwaarloosbare reken- of opslagkosten overkomt GraLoRA de beperkingen van LoRA, verhoogt het effectief de representatiecapaciteit en benadert het het gedrag van FFT beter. Experimenten op benchmarks voor codegeneratie en gezond verstand redeneren tonen aan dat GraLoRA consistent beter presteert dan LoRA en andere baselines, met een absolute winst tot +8,5% in Pass@1 op HumanEval+. Deze verbeteringen gelden voor verschillende modelgroottes en rankinstellingen, waardoor GraLoRA een schaalbare en robuuste oplossing is voor PEFT. Code, data en scripts zijn beschikbaar op https://github.com/SqueezeBits/GraLoRA.git.

English

Low-Rank Adaptation (LoRA) is a popular method for parameter-efficient fine-tuning (PEFT) of generative models, valued for its simplicity and effectiveness. Despite recent enhancements, LoRA still suffers from a fundamental limitation: overfitting when the bottleneck is widened. It performs best at ranks 32-64, yet its accuracy stagnates or declines at higher ranks, still falling short of full fine-tuning (FFT) performance. We identify the root cause as LoRA's structural bottleneck, which introduces gradient entanglement to the unrelated input channels and distorts gradient propagation. To address this, we introduce a novel structure, Granular Low-Rank Adaptation (GraLoRA) that partitions weight matrices into sub-blocks, each with its own low-rank adapter. With negligible computational or storage cost, GraLoRA overcomes LoRA's limitations, effectively increases the representational capacity, and more closely approximates FFT behavior. Experiments on code generation and commonsense reasoning benchmarks show that GraLoRA consistently outperforms LoRA and other baselines, achieving up to +8.5% absolute gain in Pass@1 on HumanEval+. These improvements hold across model sizes and rank settings, making GraLoRA a scalable and robust solution for PEFT. Code, data, and scripts are available at https://github.com/SqueezeBits/GraLoRA.git