Découplage des angles et de la force dans l'adaptation à faible rang

Decoupling Angles and Strength in Low-rank Adaptation

March 23, 2025

Auteurs: Massimo Bini, Leander Girrbach, Zeynep Akata

cs.AI

Résumé

Les méthodes de Fine-Tuning Paramétriquement Efficaces (PEFT) ont récemment gagné en popularité grâce à la disponibilité généralisée de modèles pré-entraînés à grande échelle. Ces méthodes permettent une adaptation rapide à des tâches en aval avec un coût computationnel minimal. Cependant, les méthodes de fine-tuning populaires telles que LoRA présentent une robustesse limitée en ce qui concerne les choix d'hyperparamètres ou les régimes d'entraînement prolongés, empêchant une performance optimale prête à l'emploi. En revanche, les approches bornées, comme ETHER, offrent une plus grande robustesse mais sont limitées à des adaptations de rang extrêmement faible et à des transformations de force fixe, réduisant ainsi leur puissance d'adaptation expressive. Dans ce travail, nous proposons Decoupled Low-rank Adaptation (DeLoRA), une nouvelle méthode de fine-tuning qui normalise et met à l'échelle des matrices de bas rang apprenables. En bornant la distance de la transformation, DeLoRA découple efficacement l'apprentissage angulaire de la force d'adaptation, améliorant ainsi la robustesse sans compromettre les performances. À travers des évaluations sur la génération d'images pilotée par sujet, la compréhension du langage naturel et le réglage d'instructions, nous montrons que DeLoRA égale ou dépasse les performances des méthodes PEFT concurrentes, tout en présentant une robustesse accrue. Le code est disponible à l'adresse suivante : https://github.com/ExplainableML/DeLoRA.

English

Parameter-Efficient FineTuning (PEFT) methods have recently gained significant popularity thanks to the widespread availability of large-scale pretrained models. These methods allow for quick adaptation to downstream tasks with minimal computational cost. However, popular finetuning methods such as LoRA exhibit limited robustness when it comes to hyperparameter choices or extended training regimes, preventing optimal out-of-the-box performance. In contrast, bounded approaches, such as ETHER, provide greater robustness but are limited to extremely low-rank adaptations and fixed-strength transformations, reducing their adaptation expressive power. In this work, we propose Decoupled Low-rank Adaptation (DeLoRA), a novel finetuning method that normalizes and scales learnable low-rank matrices. By bounding the distance of the transformation, DeLoRA effectively decouples the angular learning from the adaptation strength, enhancing robustness without compromising performance. Through evaluations on subject-driven image generation, natural language understanding, and instruction tuning, we show that DeLoRA matches or surpasses performance of competing PEFT methods, while exhibiting stronger robustness. Code is available at https://github.com/ExplainableML/DeLoRA.