RandLoRA: Ajuste fino eficiente de parámetros de rango completo de modelos grandes

RandLoRA: Full-rank parameter-efficient fine-tuning of large models

February 3, 2025

Autores: Paul Albert, Frederic Z. Zhang, Hemanth Saratchandran, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

Resumen

La Adaptación de Bajo Rango (LoRA) y sus variantes han mostrado resultados impresionantes en la reducción del número de parámetros entrenables y los requisitos de memoria de grandes redes de transformadores, manteniendo al mismo tiempo el rendimiento de ajuste fino. Sin embargo, la naturaleza de bajo rango de la actualización de pesos limita inherentemente el poder de representación de los modelos ajustados finamente, lo que potencialmente compromete el rendimiento en tareas complejas. Esto plantea una pregunta crítica: cuando se observa una brecha de rendimiento entre LoRA y el ajuste fino estándar, ¿se debe al número reducido de parámetros entrenables o a la deficiencia de rango? Este documento tiene como objetivo responder a esta pregunta mediante la introducción de RandLoRA, un método eficiente en parámetros que realiza actualizaciones de rango completo utilizando combinaciones lineales aprendidas de matrices aleatorias de bajo rango y no entrenables. Nuestro método limita el número de parámetros entrenables al restringir la optimización a matrices de escalamiento diagonal aplicadas a las matrices aleatorias fijas. Esto nos permite superar efectivamente las limitaciones de bajo rango mientras mantenemos la eficiencia de parámetros y memoria durante el entrenamiento. A través de una experimentación extensa en benchmarks de visión, lenguaje y visión-lenguaje, evaluamos sistemáticamente las limitaciones de LoRA y los métodos existentes de base aleatoria. Nuestros hallazgos revelan que las actualizaciones de rango completo son beneficiosas en tareas de visión y lenguaje individualmente, y aún más para tareas de visión-lenguaje, donde RandLoRA reduce significativamente, y a veces elimina, la brecha de rendimiento entre el ajuste fino estándar y LoRA, demostrando su eficacia.

English

Low-Rank Adaptation (LoRA) and its variants have shown impressive results in reducing the number of trainable parameters and memory requirements of large transformer networks while maintaining fine-tuning performance. However, the low-rank nature of the weight update inherently limits the representation power of fine-tuned models, potentially compromising performance on complex tasks. This raises a critical question: when a performance gap between LoRA and standard fine-tuning is observed, is it due to the reduced number of trainable parameters or the rank deficiency? This paper aims to answer this question by introducing RandLoRA, a parameter-efficient method that performs full-rank updates using a learned linear combinations of low-rank, non-trainable random matrices. Our method limits the number of trainable parameters by restricting optimization to diagonal scaling matrices applied to the fixed random matrices. This allows us to effectively overcome the low-rank limitations while maintaining parameter and memory efficiency during training. Through extensive experimentation across vision, language, and vision-language benchmarks, we systematically evaluate the limitations of LoRA and existing random basis methods. Our findings reveal that full-rank updates are beneficial across vision and language tasks individually, and even more so for vision-language tasks, where RandLoRA significantly reduces -- and sometimes eliminates -- the performance gap between standard fine-tuning and LoRA, demonstrating its efficacy.