RandLoRA: Полно-ранговая параметрически эффективная донастройка крупных моделей

RandLoRA: Full-rank parameter-efficient fine-tuning of large models

February 3, 2025

Авторы: Paul Albert, Frederic Z. Zhang, Hemanth Saratchandran, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

Аннотация

Адаптация низкого ранга (Low-Rank Adaptation, LoRA) и его варианты продемонстрировали впечатляющие результаты в сокращении количества обучаемых параметров и требований к памяти больших трансформерных сетей, сохраняя при этом производительность донастройки. Однако низкоранговая природа обновления весов внутренне ограничивает мощность представления донастроенных моделей, что потенциально снижает производительность на сложных задачах. Это поднимает критический вопрос: когда наблюдается разрыв в производительности между LoRA и стандартной донастройкой, это связано с уменьшенным количеством обучаемых параметров или дефицитом ранга? В данной статье предлагается ответить на этот вопрос, представив метод RandLoRA, эффективный с точки зрения параметров, который выполняет обновления полного ранга с использованием выученных линейных комбинаций низкоранговых, необучаемых случайных матриц. Наш метод ограничивает количество обучаемых параметров, ограничивая оптимизацию диагональными матрицами масштабирования, применяемыми к фиксированным случайным матрицам. Это позволяет нам эффективно преодолеть ограничения низкого ранга, сохраняя параметрическую и памятью эффективность во время обучения. Через обширные эксперименты по видению, языку и видео-языковым бенчмаркам мы систематически оцениваем ограничения LoRA и существующих методов на основе случайных базисов. Наши результаты показывают, что обновления полного ранга полезны как для задач видения, так и для языка индивидуально, и еще более для задач видео-языка, где RandLoRA значительно сокращает - а иногда и устраняет - разрыв в производительности между стандартной донастройкой и LoRA, демонстрируя его эффективность.

English

Low-Rank Adaptation (LoRA) and its variants have shown impressive results in reducing the number of trainable parameters and memory requirements of large transformer networks while maintaining fine-tuning performance. However, the low-rank nature of the weight update inherently limits the representation power of fine-tuned models, potentially compromising performance on complex tasks. This raises a critical question: when a performance gap between LoRA and standard fine-tuning is observed, is it due to the reduced number of trainable parameters or the rank deficiency? This paper aims to answer this question by introducing RandLoRA, a parameter-efficient method that performs full-rank updates using a learned linear combinations of low-rank, non-trainable random matrices. Our method limits the number of trainable parameters by restricting optimization to diagonal scaling matrices applied to the fixed random matrices. This allows us to effectively overcome the low-rank limitations while maintaining parameter and memory efficiency during training. Through extensive experimentation across vision, language, and vision-language benchmarks, we systematically evaluate the limitations of LoRA and existing random basis methods. Our findings reveal that full-rank updates are beneficial across vision and language tasks individually, and even more so for vision-language tasks, where RandLoRA significantly reduces -- and sometimes eliminates -- the performance gap between standard fine-tuning and LoRA, demonstrating its efficacy.