GraLoRA: Гранулярная низкоранговая адаптация для эффективной настройки параметров

GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

May 26, 2025

Авторы: Yeonjoon Jung, Daehyun Ahn, Hyungjun Kim, Taesu Kim, Eunhyeok Park

cs.AI

Аннотация

Low-Rank Adaptation (LoRA) — это популярный метод параметрически эффективной тонкой настройки (PEFT) генеративных моделей, который ценится за свою простоту и эффективность. Несмотря на недавние улучшения, LoRA по-прежнему страдает от фундаментального ограничения: переобучения при увеличении ширины узкого места. Наилучшие результаты достигаются при рангах 32-64, однако точность стагнирует или снижается при более высоких рангах, всё ещё не достигая производительности полной тонкой настройки (FFT). Мы определяем коренную причину как структурное узкое место LoRA, которое вносит запутывание градиентов в несвязанные входные каналы и искажает распространение градиентов. Для решения этой проблемы мы представляем новую структуру — Granular Low-Rank Adaptation (GraLoRA), которая разделяет матрицы весов на подблоки, каждый со своим низкоранговым адаптером. С незначительными вычислительными или затратами на хранение GraLoRA преодолевает ограничения LoRA, эффективно увеличивает репрезентационную способность и более точно приближает поведение FFT. Эксперименты на бенчмарках генерации кода и рассуждений на основе здравого смысла показывают, что GraLoRA стабильно превосходит LoRA и другие базовые методы, достигая абсолютного прироста до +8,5% в Pass@1 на HumanEval+. Эти улучшения сохраняются для различных размеров моделей и настроек рангов, что делает GraLoRA масштабируемым и надежным решением для PEFT. Код, данные и скрипты доступны по адресу https://github.com/SqueezeBits/GraLoRA.git.

English

Low-Rank Adaptation (LoRA) is a popular method for parameter-efficient fine-tuning (PEFT) of generative models, valued for its simplicity and effectiveness. Despite recent enhancements, LoRA still suffers from a fundamental limitation: overfitting when the bottleneck is widened. It performs best at ranks 32-64, yet its accuracy stagnates or declines at higher ranks, still falling short of full fine-tuning (FFT) performance. We identify the root cause as LoRA's structural bottleneck, which introduces gradient entanglement to the unrelated input channels and distorts gradient propagation. To address this, we introduce a novel structure, Granular Low-Rank Adaptation (GraLoRA) that partitions weight matrices into sub-blocks, each with its own low-rank adapter. With negligible computational or storage cost, GraLoRA overcomes LoRA's limitations, effectively increases the representational capacity, and more closely approximates FFT behavior. Experiments on code generation and commonsense reasoning benchmarks show that GraLoRA consistently outperforms LoRA and other baselines, achieving up to +8.5% absolute gain in Pass@1 on HumanEval+. These improvements hold across model sizes and rank settings, making GraLoRA a scalable and robust solution for PEFT. Code, data, and scripts are available at https://github.com/SqueezeBits/GraLoRA.git