SingLoRA: Adattamento a Basso Rango Utilizzando una Singola Matrice

SingLoRA: Low Rank Adaptation Using a Single Matrix

July 8, 2025

Autori: David Bensaïd, Noam Rotstein, Roy Velich, Daniel Bensaïd, Ron Kimmel

cs.AI

Abstract

La Low-Rank Adaptation (LoRA) ha significativamente avanzato il fine-tuning efficiente in termini di parametri per grandi modelli pre-addestrati. LoRA aumenta i pesi pre-addestrati di un modello aggiungendo il prodotto di due matrici più piccole che insieme formano un aggiornamento a matrice di basso rango. Ricerche recenti hanno dimostrato che le disparità di scala tra queste due matrici spesso causano dinamiche di addestramento instabili, portando a prestazioni subottimali. In questo articolo, proponiamo SingLoRA, che riformula l'adattamento a basso rango apprendendo l'aggiornamento dei pesi come una decomposizione di una singola matrice a basso rango moltiplicata per la sua trasposta. Questo design semplice rimuove intrinsecamente i conflitti di scala inter-matrice, garantendo un'ottimizzazione stabile, e riduce approssimativamente della metà il numero di parametri. Analizziamo SingLoRA all'interno del framework di reti neurali a larghezza infinita, dimostrando che garantisce un apprendimento stabile delle feature per costruzione. Esperimenti estesi su più task convalidano questi benefici. Nel ragionamento di senso comune, il fine-tuning di LLama 7B su MNLI con SingLoRA raggiunge un'accuratezza del 91.3% - superando LoRA (89.1%) e LoRA+ (90.2%) - utilizzando solo il 60% del loro budget di parametri. Nella generazione di immagini, il fine-tuning di Stable Diffusion con SingLoRA migliora significativamente la fedeltà delle immagini su DreamBooth, ottenendo un punteggio di similarità DINO di 0.151, rispetto ai punteggi di 0.148 e 0.143 per DoRA e LoRA, rispettivamente.

English

Low-Rank Adaptation (LoRA) has significantly advanced parameter-efficient fine-tuning of large pretrained models. LoRA augments the pre-trained weights of a model by adding the product of two smaller matrices that together form a low-rank matrix update. Recent research has shown that scale disparities between these two matrices often cause unstable training dynamics, leading to suboptimal performance. In this paper, we propose SingLoRA, which reformulates low-rank adaptation by learning the weights update as a decomposition of a single low-rank matrix multiplied by its transpose. This simple design inherently removes inter-matrix scale conflicts, ensuring stable optimization, and roughly halves the parameter count. We analyze SingLoRA within the infinite-width neural network framework, showing that it guarantees stable feature learning by construction. Extensive experiments on multiple tasks validate these benefits. In common sense reasoning, fine-tuning LLama 7B on MNLI with SingLoRA achieves 91.3% accuracy - surpassing LoRA (89.1%) and LoRA+ (90.2%) - while using only 60% of their parameter budget. In image generation, fine-tuning Stable Diffusion with SingLoRA significantly improves image fidelity on DreamBooth, achieving a DINO similarity score of 0.151, compared to scores of 0.148 and 0.143 for DoRA and LoRA, respectively.