RandLoRA: 大規模モデルのフルランクパラメーター効率的なファインチューニング

RandLoRA: Full-rank parameter-efficient fine-tuning of large models

February 3, 2025

著者: Paul Albert, Frederic Z. Zhang, Hemanth Saratchandran, Cristian Rodriguez-Opazo, Anton van den Hengel, Ehsan Abbasnejad

cs.AI

要旨

Low-Rank Adaptation（LoRA）およびその派生手法は、大規模なトランスフォーマーネットワークの訓練可能なパラメータ数とメモリ要件を削減する印象的な結果を示していますが、微調整パフォーマンスを維持します。ただし、重み更新の低ランク性質は、微調整モデルの表現力を本質的に制限し、複雑なタスクでのパフォーマンスを損なう可能性があります。これにより、LoRAと標準的な微調整との間にパフォーマンスの差が見られる場合、その原因は訓練可能なパラメータ数の削減なのかランクの欠陥なのかという重要な問題が生じます。本論文は、この問いに答えるために、RandLoRAを導入します。RandLoRAは、低ランクで訓練不可なランダム行列の学習された線形組み合わせを使用して、フルランクの更新を行うパラメータ効率の良い手法です。当手法は、最適化を固定されたランダム行列に適用される対角スケーリング行列に制限することで、訓練可能なパラメータ数を制限し、訓練中に低ランクの制限を効果的に克服することができます。視覚、言語、および視覚言語のベンチマークを横断して、LoRAおよび既存のランダム基底手法の制限を系統的に評価します。我々の調査結果によると、フルランクの更新は、視覚および言語タスクそれぞれにおいて有益であり、視覚言語タスクにおいてはさらに有益であり、RandLoRAは標準的な微調整とLoRAとのパフォーマンスの差を著しく縮小し、場合によっては完全に解消することを示し、その有効性を実証しています。

English

Low-Rank Adaptation (LoRA) and its variants have shown impressive results in reducing the number of trainable parameters and memory requirements of large transformer networks while maintaining fine-tuning performance. However, the low-rank nature of the weight update inherently limits the representation power of fine-tuned models, potentially compromising performance on complex tasks. This raises a critical question: when a performance gap between LoRA and standard fine-tuning is observed, is it due to the reduced number of trainable parameters or the rank deficiency? This paper aims to answer this question by introducing RandLoRA, a parameter-efficient method that performs full-rank updates using a learned linear combinations of low-rank, non-trainable random matrices. Our method limits the number of trainable parameters by restricting optimization to diagonal scaling matrices applied to the fixed random matrices. This allows us to effectively overcome the low-rank limitations while maintaining parameter and memory efficiency during training. Through extensive experimentation across vision, language, and vision-language benchmarks, we systematically evaluate the limitations of LoRA and existing random basis methods. Our findings reveal that full-rank updates are beneficial across vision and language tasks individually, and even more so for vision-language tasks, where RandLoRA significantly reduces -- and sometimes eliminates -- the performance gap between standard fine-tuning and LoRA, demonstrating its efficacy.