SingLoRA: Adaptação de Baixo Rank Utilizando uma Única Matriz

SingLoRA: Low Rank Adaptation Using a Single Matrix

July 8, 2025

Autores: David Bensaïd, Noam Rotstein, Roy Velich, Daniel Bensaïd, Ron Kimmel

cs.AI

Resumo

A Adaptação de Baixa Classificação (LoRA) avançou significativamente o ajuste fino eficiente em parâmetros de grandes modelos pré-treinados. O LoRA aumenta os pesos pré-treinados de um modelo ao adicionar o produto de duas matrizes menores que, juntas, formam uma atualização de matriz de baixa classificação. Pesquisas recentes mostraram que disparidades de escala entre essas duas matrizes frequentemente causam dinâmicas de treinamento instáveis, levando a um desempenho subótimo. Neste artigo, propomos o SingLoRA, que reformula a adaptação de baixa classificação ao aprender a atualização dos pesos como uma decomposição de uma única matriz de baixa classificação multiplicada por sua transposta. Esse design simples remove inerentemente conflitos de escala entre matrizes, garantindo uma otimização estável e reduzindo aproximadamente pela metade a contagem de parâmetros. Analisamos o SingLoRA dentro do framework de redes neurais de largura infinita, mostrando que ele garante a aprendizagem estável de características por construção. Experimentos extensivos em múltiplas tarefas validam esses benefícios. No raciocínio de senso comum, o ajuste fino do LLama 7B no MNLI com SingLoRA alcança 91,3% de precisão - superando o LoRA (89,1%) e o LoRA+ (90,2%) - enquanto utiliza apenas 60% do orçamento de parâmetros deles. Na geração de imagens, o ajuste fino do Stable Diffusion com SingLoRA melhora significativamente a fidelidade das imagens no DreamBooth, alcançando um score de similaridade DINO de 0,151, comparado aos scores de 0,148 e 0,143 para DoRA e LoRA, respectivamente.

English

Low-Rank Adaptation (LoRA) has significantly advanced parameter-efficient fine-tuning of large pretrained models. LoRA augments the pre-trained weights of a model by adding the product of two smaller matrices that together form a low-rank matrix update. Recent research has shown that scale disparities between these two matrices often cause unstable training dynamics, leading to suboptimal performance. In this paper, we propose SingLoRA, which reformulates low-rank adaptation by learning the weights update as a decomposition of a single low-rank matrix multiplied by its transpose. This simple design inherently removes inter-matrix scale conflicts, ensuring stable optimization, and roughly halves the parameter count. We analyze SingLoRA within the infinite-width neural network framework, showing that it guarantees stable feature learning by construction. Extensive experiments on multiple tasks validate these benefits. In common sense reasoning, fine-tuning LLama 7B on MNLI with SingLoRA achieves 91.3% accuracy - surpassing LoRA (89.1%) and LoRA+ (90.2%) - while using only 60% of their parameter budget. In image generation, fine-tuning Stable Diffusion with SingLoRA significantly improves image fidelity on DreamBooth, achieving a DINO similarity score of 0.151, compared to scores of 0.148 and 0.143 for DoRA and LoRA, respectively.