RandLoRA : Ajustement fin efficace en termes de paramètres à rang complet de grands modèles

RandLoRA: Full-rank parameter-efficient fine-tuning of large models

February 3, 2025

Auteurs: Paul Albert, Frederic Z. Zhang, Hemanth Saratchandran, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

Résumé

L'Adaptation à Rang Faible (LoRA) et ses variantes ont montré des résultats impressionnants en réduisant le nombre de paramètres entraînables et les besoins en mémoire des grands réseaux de transformers tout en maintenant les performances de fine-tuning. Cependant, la nature à rang faible de la mise à jour des poids limite intrinsèquement la puissance de représentation des modèles fine-tunés, compromettant potentiellement les performances sur des tâches complexes. Cela soulève une question cruciale : lorsque l'on observe un écart de performance entre LoRA et le fine-tuning standard, est-ce dû au nombre réduit de paramètres entraînables ou à la déficience du rang ? Ce document vise à répondre à cette question en introduisant RandLoRA, une méthode efficace en termes de paramètres qui effectue des mises à jour à rang complet en utilisant des combinaisons linéaires apprises de matrices aléatoires à rang faible et non entraînables. Notre méthode limite le nombre de paramètres entraînables en restreignant l'optimisation aux matrices de mise à l'échelle diagonale appliquées aux matrices aléatoires fixes. Cela nous permet de surmonter efficacement les limitations à rang faible tout en maintenant l'efficacité en termes de paramètres et de mémoire pendant l'entraînement. À travers une expérimentation approfondie sur des référentiels de vision, de langage et de vision-langage, nous évaluons systématiquement les limitations de LoRA et des méthodes de base aléatoires existantes. Nos résultats révèlent que les mises à jour à rang complet sont bénéfiques pour les tâches de vision et de langage individuellement, et encore plus pour les tâches de vision-langage, où RandLoRA réduit significativement - voire élimine parfois - l'écart de performance entre le fine-tuning standard et LoRA, démontrant son efficacité.

English

Low-Rank Adaptation (LoRA) and its variants have shown impressive results in reducing the number of trainable parameters and memory requirements of large transformer networks while maintaining fine-tuning performance. However, the low-rank nature of the weight update inherently limits the representation power of fine-tuned models, potentially compromising performance on complex tasks. This raises a critical question: when a performance gap between LoRA and standard fine-tuning is observed, is it due to the reduced number of trainable parameters or the rank deficiency? This paper aims to answer this question by introducing RandLoRA, a parameter-efficient method that performs full-rank updates using a learned linear combinations of low-rank, non-trainable random matrices. Our method limits the number of trainable parameters by restricting optimization to diagonal scaling matrices applied to the fixed random matrices. This allows us to effectively overcome the low-rank limitations while maintaining parameter and memory efficiency during training. Through extensive experimentation across vision, language, and vision-language benchmarks, we systematically evaluate the limitations of LoRA and existing random basis methods. Our findings reveal that full-rank updates are beneficial across vision and language tasks individually, and even more so for vision-language tasks, where RandLoRA significantly reduces -- and sometimes eliminates -- the performance gap between standard fine-tuning and LoRA, demonstrating its efficacy.