Het ontkoppelen van hoeken en sterkte in Low-rank Adaptatie

Decoupling Angles and Strength in Low-rank Adaptation

March 23, 2025

Auteurs: Massimo Bini, Leander Girrbach, Zeynep Akata

cs.AI

Samenvatting

Parameter-Efficient FineTuning (PEFT)-methoden hebben recentelijk aanzienlijke populariteit gewonnen dankzij de brede beschikbaarheid van grootschalige voorgetrainde modellen. Deze methoden maken een snelle aanpassing aan downstream-taken mogelijk tegen minimale rekenkosten. Populaire finetuning-methoden zoals LoRA vertonen echter beperkte robuustheid als het gaat om hyperparameterkeuzes of uitgebreide trainingsregimes, wat optimale prestaties 'out-of-the-box' in de weg staat. In tegenstelling hiermee bieden gebonden benaderingen, zoals ETHER, grotere robuustheid, maar zijn ze beperkt tot extreem laag-rang aanpassingen en vaste sterkte-transformaties, wat hun aanpassingsvermogen vermindert. In dit werk stellen we Decoupled Low-rank Adaptation (DeLoRA) voor, een nieuwe finetuning-methode die leerbare laag-rang matrices normaliseert en schaalt. Door de afstand van de transformatie te begrenzen, ontkoppelt DeLoRA effectief het hoekleren van de aanpassingssterkte, wat de robuustheid verbetert zonder in te leveren op prestaties. Door evaluaties op onderwerpgestuurde beeldgeneratie, natuurlijke taalverwerking en instructie-afstemming, tonen we aan dat DeLoRA de prestaties van concurrerende PEFT-methoden evenaart of overtreft, terwijl het sterkere robuustheid vertoont. Code is beschikbaar op https://github.com/ExplainableML/DeLoRA.

English

Parameter-Efficient FineTuning (PEFT) methods have recently gained significant popularity thanks to the widespread availability of large-scale pretrained models. These methods allow for quick adaptation to downstream tasks with minimal computational cost. However, popular finetuning methods such as LoRA exhibit limited robustness when it comes to hyperparameter choices or extended training regimes, preventing optimal out-of-the-box performance. In contrast, bounded approaches, such as ETHER, provide greater robustness but are limited to extremely low-rank adaptations and fixed-strength transformations, reducing their adaptation expressive power. In this work, we propose Decoupled Low-rank Adaptation (DeLoRA), a novel finetuning method that normalizes and scales learnable low-rank matrices. By bounding the distance of the transformation, DeLoRA effectively decouples the angular learning from the adaptation strength, enhancing robustness without compromising performance. Through evaluations on subject-driven image generation, natural language understanding, and instruction tuning, we show that DeLoRA matches or surpasses performance of competing PEFT methods, while exhibiting stronger robustness. Code is available at https://github.com/ExplainableML/DeLoRA.