RandLoRA: Volledig-rang parameter-efficiënte fijnafstemming van grote modellen

RandLoRA: Full-rank parameter-efficient fine-tuning of large models

February 3, 2025

Auteurs: Paul Albert, Frederic Z. Zhang, Hemanth Saratchandran, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

Samenvatting

Low-Rank Adaptation (LoRA) en zijn varianten hebben indrukwekkende resultaten laten zien bij het verminderen van het aantal trainbare parameters en geheugenvereisten van grote transformer-netwerken, terwijl de prestaties bij fine-tuning behouden blijven. De lage-rang aard van de gewichtsaanpassing beperkt echter inherent de representatiekracht van gefinetunede modellen, wat mogelijk de prestaties op complexe taken in gevaar brengt. Dit roept een kritische vraag op: wanneer er een prestatiekloof tussen LoRA en standaard fine-tuning wordt waargenomen, is dit te wijten aan het verminderde aantal trainbare parameters of aan de rangdeficiëntie? Dit artikel beoogt deze vraag te beantwoorden door RandLoRA te introduceren, een parameter-efficiënte methode die volledige-rang updates uitvoert door middel van aangeleerde lineaire combinaties van lage-rang, niet-trainbare willekeurige matrices. Onze methode beperkt het aantal trainbare parameters door de optimalisatie te beperken tot diagonale schalingsmatrices die worden toegepast op de vaste willekeurige matrices. Dit stelt ons in staat om effectief de beperkingen van de lage-rang te overwinnen, terwijl we de parameter- en geheugenefficiëntie tijdens training behouden. Door uitgebreid experimenteel onderzoek over visie, taal en visie-taal benchmarks, evalueren we systematisch de beperkingen van LoRA en bestaande willekeurige basis methoden. Onze bevindingen tonen aan dat volledige-rang updates voordelig zijn voor zowel visie- als taaltaken afzonderlijk, en nog meer voor visie-taaltaken, waar RandLoRA de prestatiekloof tussen standaard fine-tuning en LoRA aanzienlijk verkleint - en soms elimineert - en daarmee de doeltreffendheid aantoont.

English

Low-Rank Adaptation (LoRA) and its variants have shown impressive results in reducing the number of trainable parameters and memory requirements of large transformer networks while maintaining fine-tuning performance. However, the low-rank nature of the weight update inherently limits the representation power of fine-tuned models, potentially compromising performance on complex tasks. This raises a critical question: when a performance gap between LoRA and standard fine-tuning is observed, is it due to the reduced number of trainable parameters or the rank deficiency? This paper aims to answer this question by introducing RandLoRA, a parameter-efficient method that performs full-rank updates using a learned linear combinations of low-rank, non-trainable random matrices. Our method limits the number of trainable parameters by restricting optimization to diagonal scaling matrices applied to the fixed random matrices. This allows us to effectively overcome the low-rank limitations while maintaining parameter and memory efficiency during training. Through extensive experimentation across vision, language, and vision-language benchmarks, we systematically evaluate the limitations of LoRA and existing random basis methods. Our findings reveal that full-rank updates are beneficial across vision and language tasks individually, and even more so for vision-language tasks, where RandLoRA significantly reduces -- and sometimes eliminates -- the performance gap between standard fine-tuning and LoRA, demonstrating its efficacy.