RandLoRA: Ottimizzazione efficiente dei parametri a rango completo per il raffinamento di modelli di grandi dimensioni

RandLoRA: Full-rank parameter-efficient fine-tuning of large models

February 3, 2025

Autori: Paul Albert, Frederic Z. Zhang, Hemanth Saratchandran, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

Abstract

L'Adattamento a Basso Rango (Low-Rank Adaptation - LoRA) e le sue varianti hanno mostrato risultati impressionanti nel ridurre il numero di parametri addestrabili e i requisiti di memoria delle grandi reti trasformanti, mantenendo nel contempo le prestazioni di fine-tuning. Tuttavia, la natura a basso rango dell'aggiornamento dei pesi limita intrinsecamente la potenza di rappresentazione dei modelli sintonizzati, compromettendo potenzialmente le prestazioni su compiti complessi. Ciò solleva una questione critica: quando si osserva un divario di prestazioni tra LoRA e il fine-tuning standard, è dovuto al ridotto numero di parametri addestrabili o alla deficienza di rango? Questo articolo si propone di rispondere a questa domanda presentando RandLoRA, un metodo efficiente nei parametri che esegue aggiornamenti a rango completo utilizzando combinazioni lineari apprese di matrici casuali a basso rango e non addestrabili. Il nostro metodo limita il numero di parametri addestrabili limitando l'ottimizzazione alle matrici di ridimensionamento diagonale applicate alle matrici casuali fisse. Ciò ci consente di superare efficacemente le limitazioni a basso rango mantenendo efficienza nei parametri e nella memoria durante l'addestramento. Attraverso un'ampia sperimentazione su benchmark di visione, linguaggio e visione-linguaggio, valutiamo sistematicamente le limitazioni di LoRA e dei metodi esistenti basati su basi casuali. I nostri risultati rivelano che gli aggiornamenti a rango completo sono vantaggiosi sia per i compiti di visione che di linguaggio singolarmente, e ancor di più per i compiti di visione-linguaggio, dove RandLoRA riduce significativamente - e talvolta elimina - il divario di prestazioni tra il fine-tuning standard e LoRA, dimostrandone l'efficacia.

English

Low-Rank Adaptation (LoRA) and its variants have shown impressive results in reducing the number of trainable parameters and memory requirements of large transformer networks while maintaining fine-tuning performance. However, the low-rank nature of the weight update inherently limits the representation power of fine-tuned models, potentially compromising performance on complex tasks. This raises a critical question: when a performance gap between LoRA and standard fine-tuning is observed, is it due to the reduced number of trainable parameters or the rank deficiency? This paper aims to answer this question by introducing RandLoRA, a parameter-efficient method that performs full-rank updates using a learned linear combinations of low-rank, non-trainable random matrices. Our method limits the number of trainable parameters by restricting optimization to diagonal scaling matrices applied to the fixed random matrices. This allows us to effectively overcome the low-rank limitations while maintaining parameter and memory efficiency during training. Through extensive experimentation across vision, language, and vision-language benchmarks, we systematically evaluate the limitations of LoRA and existing random basis methods. Our findings reveal that full-rank updates are beneficial across vision and language tasks individually, and even more so for vision-language tasks, where RandLoRA significantly reduces -- and sometimes eliminates -- the performance gap between standard fine-tuning and LoRA, demonstrating its efficacy.