Entkopplung von Winkeln und Stärke in der Low-Rank-Adaption

Decoupling Angles and Strength in Low-rank Adaptation

March 23, 2025

Autoren: Massimo Bini, Leander Girrbach, Zeynep Akata

cs.AI

Zusammenfassung

Parameter-Efficient FineTuning (PEFT)-Methoden haben in letzter Zeit erhebliche Popularität erlangt, was auf die weitverbreitete Verfügbarkeit von großskaligen vortrainierten Modellen zurückzuführen ist. Diese Methoden ermöglichen eine schnelle Anpassung an nachgelagerte Aufgaben mit minimalem Rechenaufwand. Allerdings zeigen beliebte Feinabstimmungsmethoden wie LoRA eine begrenzte Robustheit in Bezug auf Hyperparameterauswahl oder längere Trainingsregime, was eine optimale Leistung „out-of-the-box“ verhindert. Im Gegensatz dazu bieten begrenzte Ansätze wie ETHER zwar größere Robustheit, sind jedoch auf extrem niedrigrangige Anpassungen und feste Stärke-Transformationen beschränkt, was ihre Anpassungsfähigkeit einschränkt. In dieser Arbeit schlagen wir Decoupled Low-rank Adaptation (DeLoRA) vor, eine neuartige Feinabstimmungsmethode, die lernbare niedrigrangige Matrizen normalisiert und skaliert. Durch die Begrenzung der Transformationsdistanz entkoppelt DeLoRA effektiv das Winkel-Lernen von der Anpassungsstärke und verbessert so die Robustheit, ohne die Leistung zu beeinträchtigen. Durch Evaluierungen in den Bereichen subjektgesteuerte Bildgenerierung, natürliches Sprachverständnis und Instruktionsabstimmung zeigen wir, dass DeLoRA die Leistung konkurrierender PEFT-Methoden erreicht oder übertrifft, während es eine stärkere Robustheit aufweist. Der Code ist verfügbar unter https://github.com/ExplainableML/DeLoRA.

English

Parameter-Efficient FineTuning (PEFT) methods have recently gained significant popularity thanks to the widespread availability of large-scale pretrained models. These methods allow for quick adaptation to downstream tasks with minimal computational cost. However, popular finetuning methods such as LoRA exhibit limited robustness when it comes to hyperparameter choices or extended training regimes, preventing optimal out-of-the-box performance. In contrast, bounded approaches, such as ETHER, provide greater robustness but are limited to extremely low-rank adaptations and fixed-strength transformations, reducing their adaptation expressive power. In this work, we propose Decoupled Low-rank Adaptation (DeLoRA), a novel finetuning method that normalizes and scales learnable low-rank matrices. By bounding the distance of the transformation, DeLoRA effectively decouples the angular learning from the adaptation strength, enhancing robustness without compromising performance. Through evaluations on subject-driven image generation, natural language understanding, and instruction tuning, we show that DeLoRA matches or surpasses performance of competing PEFT methods, while exhibiting stronger robustness. Code is available at https://github.com/ExplainableML/DeLoRA.