SingLoRA: Низкоранговая адаптация с использованием одной матрицы
SingLoRA: Low Rank Adaptation Using a Single Matrix
July 8, 2025
Авторы: David Bensaïd, Noam Rotstein, Roy Velich, Daniel Bensaïd, Ron Kimmel
cs.AI
Аннотация
Метод Low-Rank Adaptation (LoRA) значительно продвинул эффективную настройку параметров крупных предобученных моделей. LoRA дополняет предобученные веса модели, добавляя произведение двух меньших матриц, которые вместе образуют низкоранговое обновление. Недавние исследования показали, что различия в масштабе между этими двумя матрицами часто приводят к нестабильной динамике обучения, что ухудшает производительность. В данной статье мы предлагаем SingLoRA, который переформулирует низкоранговую адаптацию, обучая обновление весов как разложение одной низкоранговой матрицы, умноженной на её транспонированную версию. Этот простой дизайн устраняет конфликты масштаба между матрицами, обеспечивая стабильную оптимизацию, и примерно вдвое сокращает количество параметров. Мы анализируем SingLoRA в рамках теории бесконечно широких нейронных сетей, показывая, что он гарантирует стабильное обучение признаков по своей конструкции. Многочисленные эксперименты на различных задачах подтверждают эти преимущества. В задачах здравого смысла, тонкая настройка модели LLama 7B на MNLI с использованием SingLoRA достигает точности 91,3%, превосходя LoRA (89,1%) и LoRA+ (90,2%), при использовании только 60% их параметров. В генерации изображений, тонкая настройка Stable Diffusion с SingLoRA значительно улучшает качество изображений на DreamBooth, достигая показателя сходства DINO 0,151, по сравнению с 0,148 и 0,143 для DoRA и LoRA соответственно.
English
Low-Rank Adaptation (LoRA) has significantly advanced parameter-efficient
fine-tuning of large pretrained models. LoRA augments the pre-trained weights
of a model by adding the product of two smaller matrices that together form a
low-rank matrix update. Recent research has shown that scale disparities
between these two matrices often cause unstable training dynamics, leading to
suboptimal performance. In this paper, we propose SingLoRA, which reformulates
low-rank adaptation by learning the weights update as a decomposition of a
single low-rank matrix multiplied by its transpose. This simple design
inherently removes inter-matrix scale conflicts, ensuring stable optimization,
and roughly halves the parameter count. We analyze SingLoRA within the
infinite-width neural network framework, showing that it guarantees stable
feature learning by construction. Extensive experiments on multiple tasks
validate these benefits. In common sense reasoning, fine-tuning LLama 7B on
MNLI with SingLoRA achieves 91.3% accuracy - surpassing LoRA (89.1%) and LoRA+
(90.2%) - while using only 60% of their parameter budget. In image generation,
fine-tuning Stable Diffusion with SingLoRA significantly improves image
fidelity on DreamBooth, achieving a DINO similarity score of 0.151, compared to
scores of 0.148 and 0.143 for DoRA and LoRA, respectively.