GraLoRA: パラメータ効率の良いファインチューニングのためのグラニュラー低ランク適応

GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

May 26, 2025

著者: Yeonjoon Jung, Daehyun Ahn, Hyungjun Kim, Taesu Kim, Eunhyeok Park

cs.AI

要旨

Low-Rank Adaptation (LoRA) は、生成モデルのパラメータ効率的なファインチューニング (PEFT) において、そのシンプルさと有効性から高く評価されている手法です。最近の改良にもかかわらず、LoRA は根本的な制限を抱えています。ボトルネックが広がると過学習が発生し、ランク32-64で最高の性能を発揮するものの、それ以上のランクでは精度が停滞または低下し、依然として完全なファインチューニング (FFT) の性能には及びません。この根本的な原因は、LoRA の構造的なボトルネックにあり、無関係な入力チャネルに勾配の絡み合いを引き起こし、勾配伝播を歪めてしまうことにあります。この問題を解決するため、我々は新しい構造である Granular Low-Rank Adaptation (GraLoRA) を提案します。GraLoRA は重み行列をサブブロックに分割し、それぞれに独自の低ランクアダプタを配置します。計算コストやストレージコストをほとんど増加させることなく、GraLoRA は LoRA の制限を克服し、表現能力を効果的に向上させ、FFT の挙動により近づけます。コード生成と常識推論のベンチマークでの実験では、GraLoRA が LoRA や他のベースラインを一貫して上回り、HumanEval+ において Pass@1 で最大 +8.5% の絶対的な向上を達成しました。これらの改善はモデルサイズやランク設定にわたって持続し、GraLoRA を PEFT のためのスケーラブルで堅牢なソリューションとしています。コード、データ、スクリプトは https://github.com/SqueezeBits/GraLoRA.git で公開されています。

English

Low-Rank Adaptation (LoRA) is a popular method for parameter-efficient fine-tuning (PEFT) of generative models, valued for its simplicity and effectiveness. Despite recent enhancements, LoRA still suffers from a fundamental limitation: overfitting when the bottleneck is widened. It performs best at ranks 32-64, yet its accuracy stagnates or declines at higher ranks, still falling short of full fine-tuning (FFT) performance. We identify the root cause as LoRA's structural bottleneck, which introduces gradient entanglement to the unrelated input channels and distorts gradient propagation. To address this, we introduce a novel structure, Granular Low-Rank Adaptation (GraLoRA) that partitions weight matrices into sub-blocks, each with its own low-rank adapter. With negligible computational or storage cost, GraLoRA overcomes LoRA's limitations, effectively increases the representational capacity, and more closely approximates FFT behavior. Experiments on code generation and commonsense reasoning benchmarks show that GraLoRA consistently outperforms LoRA and other baselines, achieving up to +8.5% absolute gain in Pass@1 on HumanEval+. These improvements hold across model sizes and rank settings, making GraLoRA a scalable and robust solution for PEFT. Code, data, and scripts are available at https://github.com/SqueezeBits/GraLoRA.git