RandLoRA: Vollrang-Parameter-effizientes Feinabstimmung großer Modelle

RandLoRA: Full-rank parameter-efficient fine-tuning of large models

February 3, 2025

Autoren: Paul Albert, Frederic Z. Zhang, Hemanth Saratchandran, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

Zusammenfassung

Die Low-Rank-Anpassung (LoRA) und ihre Varianten haben beeindruckende Ergebnisse bei der Reduzierung der Anzahl der trainierbaren Parameter und des Speicherbedarfs großer Transformer-Netzwerke gezeigt, während die Feinabstimmungsleistung beibehalten wird. Die niedrigrangige Natur des Gewichtsupdates begrenzt jedoch inhärent die Repräsentationskraft der feinabgestimmten Modelle, was die Leistung bei komplexen Aufgaben möglicherweise beeinträchtigt. Dies wirft eine kritische Frage auf: Wenn eine Leistungslücke zwischen LoRA und der Standardfeinabstimmung beobachtet wird, liegt dies an der reduzierten Anzahl der trainierbaren Parameter oder an der Rangdefizienz? Dieser Artikel zielt darauf ab, diese Frage zu beantworten, indem er RandLoRA einführt, eine parameter-effiziente Methode, die vollständige Rangaktualisierungen unter Verwendung von erlernten linearen Kombinationen von niedrigrangigen, nicht trainierbaren Zufallsmatrizen durchführt. Unsere Methode beschränkt die Anzahl der trainierbaren Parameter, indem sie die Optimierung auf diagonale Skalierungsmatrizen beschränkt, die auf die festen Zufallsmatrizen angewendet werden. Dies ermöglicht es uns, die niedrigrangigen Einschränkungen effektiv zu überwinden, während wir Parameter- und Speichereffizienz während des Trainings beibehalten. Durch umfangreiche Experimente in den Bereichen Vision, Sprache und Vision-Sprache bewerten wir systematisch die Einschränkungen von LoRA und bestehenden zufälligen Basisverfahren. Unsere Ergebnisse zeigen, dass vollständige Rangaktualisierungen sowohl für Vision- als auch für Sprachaufgaben vorteilhaft sind und noch mehr für Vision-Sprache-Aufgaben, bei denen RandLoRA die Leistungslücke zwischen Standardfeinabstimmung und LoRA signifikant reduziert - und manchmal eliminiert -, was seine Wirksamkeit demonstriert.

English

Low-Rank Adaptation (LoRA) and its variants have shown impressive results in reducing the number of trainable parameters and memory requirements of large transformer networks while maintaining fine-tuning performance. However, the low-rank nature of the weight update inherently limits the representation power of fine-tuned models, potentially compromising performance on complex tasks. This raises a critical question: when a performance gap between LoRA and standard fine-tuning is observed, is it due to the reduced number of trainable parameters or the rank deficiency? This paper aims to answer this question by introducing RandLoRA, a parameter-efficient method that performs full-rank updates using a learned linear combinations of low-rank, non-trainable random matrices. Our method limits the number of trainable parameters by restricting optimization to diagonal scaling matrices applied to the fixed random matrices. This allows us to effectively overcome the low-rank limitations while maintaining parameter and memory efficiency during training. Through extensive experimentation across vision, language, and vision-language benchmarks, we systematically evaluate the limitations of LoRA and existing random basis methods. Our findings reveal that full-rank updates are beneficial across vision and language tasks individually, and even more so for vision-language tasks, where RandLoRA significantly reduces -- and sometimes eliminates -- the performance gap between standard fine-tuning and LoRA, demonstrating its efficacy.