SingLoRA : Adaptation à faible rang utilisant une seule matrice
SingLoRA: Low Rank Adaptation Using a Single Matrix
July 8, 2025
papers.authors: David Bensaïd, Noam Rotstein, Roy Velich, Daniel Bensaïd, Ron Kimmel
cs.AI
papers.abstract
L'adaptation à faible rang (LoRA) a considérablement fait progresser le réglage fin efficace en paramètres des grands modèles pré-entraînés. LoRA enrichit les poids pré-entraînés d'un modèle en ajoutant le produit de deux matrices plus petites qui forment ensemble une mise à jour matricielle à faible rang. Des recherches récentes ont montré que les disparités d'échelle entre ces deux matrices provoquent souvent des dynamiques d'entraînement instables, conduisant à des performances sous-optimales. Dans cet article, nous proposons SingLoRA, qui reformule l'adaptation à faible rang en apprenant la mise à jour des poids comme une décomposition d'une seule matrice à faible rang multipliée par sa transposée. Cette conception simple supprime intrinsèquement les conflits d'échelle inter-matriciels, garantissant une optimisation stable, et réduit approximativement de moitié le nombre de paramètres. Nous analysons SingLoRA dans le cadre des réseaux de neurones à largeur infinie, montrant qu'il garantit par construction un apprentissage stable des caractéristiques. Des expériences approfondies sur plusieurs tâches valident ces avantages. En raisonnement de bon sens, le réglage fin de LLama 7B sur MNLI avec SingLoRA atteint une précision de 91,3 % - surpassant LoRA (89,1 %) et LoRA+ (90,2 %) - tout en utilisant seulement 60 % de leur budget en paramètres. En génération d'images, le réglage fin de Stable Diffusion avec SingLoRA améliore significativement la fidélité des images sur DreamBooth, atteignant un score de similarité DINO de 0,151, contre des scores de 0,148 et 0,143 pour DoRA et LoRA, respectivement.
English
Low-Rank Adaptation (LoRA) has significantly advanced parameter-efficient
fine-tuning of large pretrained models. LoRA augments the pre-trained weights
of a model by adding the product of two smaller matrices that together form a
low-rank matrix update. Recent research has shown that scale disparities
between these two matrices often cause unstable training dynamics, leading to
suboptimal performance. In this paper, we propose SingLoRA, which reformulates
low-rank adaptation by learning the weights update as a decomposition of a
single low-rank matrix multiplied by its transpose. This simple design
inherently removes inter-matrix scale conflicts, ensuring stable optimization,
and roughly halves the parameter count. We analyze SingLoRA within the
infinite-width neural network framework, showing that it guarantees stable
feature learning by construction. Extensive experiments on multiple tasks
validate these benefits. In common sense reasoning, fine-tuning LLama 7B on
MNLI with SingLoRA achieves 91.3% accuracy - surpassing LoRA (89.1%) and LoRA+
(90.2%) - while using only 60% of their parameter budget. In image generation,
fine-tuning Stable Diffusion with SingLoRA significantly improves image
fidelity on DreamBooth, achieving a DINO similarity score of 0.151, compared to
scores of 0.148 and 0.143 for DoRA and LoRA, respectively.