低ランク適応における角度と強度の分離

Decoupling Angles and Strength in Low-rank Adaptation

March 23, 2025

著者: Massimo Bini, Leander Girrbach, Zeynep Akata

cs.AI

要旨

パラメータ効率的なファインチューニング（PEFT）手法は、大規模な事前学習モデルの普及に伴い、近年注目を集めています。これらの手法は、最小限の計算コストで下流タスクに迅速に適応することを可能にします。しかし、LoRAのような一般的なファインチューニング手法は、ハイパーパラメータの選択や長期間のトレーニングにおいて堅牢性に欠け、最適な性能を発揮することが難しいという課題があります。一方、ETHERのような境界付きアプローチは、より高い堅牢性を提供しますが、極めて低ランクの適応と固定強度の変換に限定されるため、適応表現力が制限されます。本研究では、学習可能な低ランク行列を正規化しスケーリングする新しいファインチューニング手法であるDecoupled Low-rank Adaptation（DeLoRA）を提案します。DeLoRAは変換の距離を制限することで、角度学習と適応強度を効果的に分離し、性能を損なうことなく堅牢性を向上させます。主題駆動型画像生成、自然言語理解、指示チューニングにおける評価を通じて、DeLoRAが競合するPEFT手法と同等またはそれ以上の性能を発揮し、より強い堅牢性を示すことを実証します。コードはhttps://github.com/ExplainableML/DeLoRAで公開されています。

English

Parameter-Efficient FineTuning (PEFT) methods have recently gained significant popularity thanks to the widespread availability of large-scale pretrained models. These methods allow for quick adaptation to downstream tasks with minimal computational cost. However, popular finetuning methods such as LoRA exhibit limited robustness when it comes to hyperparameter choices or extended training regimes, preventing optimal out-of-the-box performance. In contrast, bounded approaches, such as ETHER, provide greater robustness but are limited to extremely low-rank adaptations and fixed-strength transformations, reducing their adaptation expressive power. In this work, we propose Decoupled Low-rank Adaptation (DeLoRA), a novel finetuning method that normalizes and scales learnable low-rank matrices. By bounding the distance of the transformation, DeLoRA effectively decouples the angular learning from the adaptation strength, enhancing robustness without compromising performance. Through evaluations on subject-driven image generation, natural language understanding, and instruction tuning, we show that DeLoRA matches or surpasses performance of competing PEFT methods, while exhibiting stronger robustness. Code is available at https://github.com/ExplainableML/DeLoRA.