SingLoRA: Niedrigrangige Anpassung unter Verwendung einer einzelnen Matrix

SingLoRA: Low Rank Adaptation Using a Single Matrix

July 8, 2025

papers.authors: David Bensaïd, Noam Rotstein, Roy Velich, Daniel Bensaïd, Ron Kimmel

cs.AI

papers.abstract

Low-Rank Adaptation (LoRA) hat die parameter-effiziente Feinabstimmung großer vortrainierter Modelle erheblich vorangetrieben. LoRA erweitert die vortrainierten Gewichte eines Modells, indem es das Produkt zweier kleinerer Matrizen hinzufügt, die zusammen eine niedrigrangige Matrixaktualisierung bilden. Jüngste Forschungen haben gezeigt, dass Skalenunterschiede zwischen diesen beiden Matrizen oft zu instabilen Trainingsdynamiken führen, was eine suboptimale Leistung zur Folge hat. In diesem Artikel schlagen wir SingLoRA vor, das die Low-Rank Adaptation neu formuliert, indem es die Gewichtsaktualisierung als eine Zerlegung einer einzelnen niedrigrangigen Matrix, multipliziert mit ihrer Transponierten, lernt. Dieses einfache Design beseitigt inhärent Skalenkonflikte zwischen den Matrizen, gewährleistet eine stabile Optimierung und reduziert die Parameteranzahl in etwa um die Hälfte. Wir analysieren SingLoRA im Rahmen des unendlich breiten neuronalen Netzwerks und zeigen, dass es durch seine Konstruktion ein stabiles Feature-Learning garantiert. Umfangreiche Experimente zu verschiedenen Aufgaben bestätigen diese Vorteile. Im Bereich des gesunden Menschenverstands erreicht die Feinabstimmung von LLama 7B auf MNLI mit SingLoRA eine Genauigkeit von 91,3 % – was LoRA (89,1 %) und LoRA+ (90,2 %) übertrifft – während nur 60 % des Parameterbudgets verwendet werden. Bei der Bildgeneration verbessert die Feinabstimmung von Stable Diffusion mit SingLoRA die Bildtreue auf DreamBooth erheblich und erreicht einen DINO-Ähnlichkeitswert von 0,151, verglichen mit Werten von 0,148 und 0,143 für DoRA bzw. LoRA.

English

Low-Rank Adaptation (LoRA) has significantly advanced parameter-efficient fine-tuning of large pretrained models. LoRA augments the pre-trained weights of a model by adding the product of two smaller matrices that together form a low-rank matrix update. Recent research has shown that scale disparities between these two matrices often cause unstable training dynamics, leading to suboptimal performance. In this paper, we propose SingLoRA, which reformulates low-rank adaptation by learning the weights update as a decomposition of a single low-rank matrix multiplied by its transpose. This simple design inherently removes inter-matrix scale conflicts, ensuring stable optimization, and roughly halves the parameter count. We analyze SingLoRA within the infinite-width neural network framework, showing that it guarantees stable feature learning by construction. Extensive experiments on multiple tasks validate these benefits. In common sense reasoning, fine-tuning LLama 7B on MNLI with SingLoRA achieves 91.3% accuracy - surpassing LoRA (89.1%) and LoRA+ (90.2%) - while using only 60% of their parameter budget. In image generation, fine-tuning Stable Diffusion with SingLoRA significantly improves image fidelity on DreamBooth, achieving a DINO similarity score of 0.151, compared to scores of 0.148 and 0.143 for DoRA and LoRA, respectively.