RandLoRA: Ajuste fino eficiente de parâmetros de classificação de modelos grandes de classificação de parâmetros completos

RandLoRA: Full-rank parameter-efficient fine-tuning of large models

February 3, 2025

Autores: Paul Albert, Frederic Z. Zhang, Hemanth Saratchandran, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

Resumo

A Adaptação de Baixo Rank (LoRA) e suas variantes têm mostrado resultados impressionantes na redução do número de parâmetros treináveis e requisitos de memória de grandes redes de transformadores, mantendo o desempenho de ajuste fino. No entanto, a natureza de baixo rank da atualização de pesos limita inerentemente o poder de representação dos modelos ajustados finamente, comprometendo potencialmente o desempenho em tarefas complexas. Isso levanta uma questão crítica: quando se observa uma diferença de desempenho entre LoRA e o ajuste fino padrão, ela se deve ao número reduzido de parâmetros treináveis ou à deficiência de rank? Este artigo tem como objetivo responder a essa pergunta ao introduzir o RandLoRA, um método eficiente em parâmetros que realiza atualizações de rank completo usando combinações lineares aprendidas de matrizes aleatórias de baixo rank e não treináveis. Nosso método limita o número de parâmetros treináveis restringindo a otimização a matrizes de escala diagonal aplicadas às matrizes aleatórias fixas. Isso nos permite superar efetivamente as limitações de baixo rank, mantendo eficiência de parâmetros e memória durante o treinamento. Através de experimentação extensiva em benchmarks de visão, linguagem e visão-linguagem, avaliamos sistematicamente as limitações de LoRA e métodos de base aleatória existentes. Nossas descobertas revelam que atualizações de rank completo são benéficas em tarefas de visão e linguagem individualmente, e ainda mais em tarefas de visão-linguagem, onde o RandLoRA reduz significativamente - e às vezes elimina - a diferença de desempenho entre o ajuste fino padrão e LoRA, demonstrando sua eficácia.

English

Low-Rank Adaptation (LoRA) and its variants have shown impressive results in reducing the number of trainable parameters and memory requirements of large transformer networks while maintaining fine-tuning performance. However, the low-rank nature of the weight update inherently limits the representation power of fine-tuned models, potentially compromising performance on complex tasks. This raises a critical question: when a performance gap between LoRA and standard fine-tuning is observed, is it due to the reduced number of trainable parameters or the rank deficiency? This paper aims to answer this question by introducing RandLoRA, a parameter-efficient method that performs full-rank updates using a learned linear combinations of low-rank, non-trainable random matrices. Our method limits the number of trainable parameters by restricting optimization to diagonal scaling matrices applied to the fixed random matrices. This allows us to effectively overcome the low-rank limitations while maintaining parameter and memory efficiency during training. Through extensive experimentation across vision, language, and vision-language benchmarks, we systematically evaluate the limitations of LoRA and existing random basis methods. Our findings reveal that full-rank updates are beneficial across vision and language tasks individually, and even more so for vision-language tasks, where RandLoRA significantly reduces -- and sometimes eliminates -- the performance gap between standard fine-tuning and LoRA, demonstrating its efficacy.