SingLoRA: Laagrangaanpassing met een enkele matrix

SingLoRA: Low Rank Adaptation Using a Single Matrix

July 8, 2025

Auteurs: David Bensaïd, Noam Rotstein, Roy Velich, Daniel Bensaïd, Ron Kimmel

cs.AI

Samenvatting

Low-Rank Adaptation (LoRA) heeft een aanzienlijke vooruitgang geboekt in het parameter-efficiënt finetunen van grote vooraf getrainde modellen. LoRA breidt de vooraf getrainde gewichten van een model uit door het product van twee kleinere matrices toe te voegen, die samen een laag-rang matrix-update vormen. Recent onderzoek heeft aangetoond dat schaalverschillen tussen deze twee matrices vaak leiden tot onstabiele trainingsdynamiek, wat resulteert in suboptimale prestaties. In dit artikel stellen we SingLoRA voor, dat low-rank adaptation herformuleert door de gewichten-update te leren als een decompositie van een enkele laag-rang matrix vermenigvuldigd met zijn transponering. Dit eenvoudige ontwerp verwijdert inherent schaalconflicten tussen matrices, zorgt voor stabiele optimalisatie en halveert ruwweg het aantal parameters. We analyseren SingLoRA binnen het raamwerk van oneindig brede neurale netwerken en laten zien dat het door constructie stabiele feature learning garandeert. Uitgebreide experimenten op meerdere taken valideren deze voordelen. In redenering op basis van gezond verstand bereikt het finetunen van LLama 7B op MNLI met SingLoRA een nauwkeurigheid van 91,3% - wat LoRA (89,1%) en LoRA+ (90,2%) overtreft - terwijl slechts 60% van hun parameterbudget wordt gebruikt. Bij beeldgeneratie verbetert het finetunen van Stable Diffusion met SingLoRA de beeldkwaliteit aanzienlijk op DreamBooth, met een DINO-gelijkheids score van 0,151, vergeleken met scores van 0,148 en 0,143 voor DoRA en LoRA, respectievelijk.

English

Low-Rank Adaptation (LoRA) has significantly advanced parameter-efficient fine-tuning of large pretrained models. LoRA augments the pre-trained weights of a model by adding the product of two smaller matrices that together form a low-rank matrix update. Recent research has shown that scale disparities between these two matrices often cause unstable training dynamics, leading to suboptimal performance. In this paper, we propose SingLoRA, which reformulates low-rank adaptation by learning the weights update as a decomposition of a single low-rank matrix multiplied by its transpose. This simple design inherently removes inter-matrix scale conflicts, ensuring stable optimization, and roughly halves the parameter count. We analyze SingLoRA within the infinite-width neural network framework, showing that it guarantees stable feature learning by construction. Extensive experiments on multiple tasks validate these benefits. In common sense reasoning, fine-tuning LLama 7B on MNLI with SingLoRA achieves 91.3% accuracy - surpassing LoRA (89.1%) and LoRA+ (90.2%) - while using only 60% of their parameter budget. In image generation, fine-tuning Stable Diffusion with SingLoRA significantly improves image fidelity on DreamBooth, achieving a DINO similarity score of 0.151, compared to scores of 0.148 and 0.143 for DoRA and LoRA, respectively.