SingLoRA: 単一行列を用いた低ランク適応法

SingLoRA: Low Rank Adaptation Using a Single Matrix

July 8, 2025

著者: David Bensaïd, Noam Rotstein, Roy Velich, Daniel Bensaïd, Ron Kimmel

cs.AI

要旨

低ランク適応（LoRA）は、大規模な事前学習モデルのパラメータ効率的なファインチューニングを大幅に進化させた。LoRAは、事前学習されたモデルの重みに、低ランク行列更新を形成する2つの小さな行列の積を追加することで拡張する。最近の研究では、これらの2つの行列間のスケールの不一致が不安定な学習ダイナミクスを引き起こし、最適でない性能をもたらすことが示されている。本論文では、SingLoRAを提案する。SingLoRAは、低ランク適応を再定式化し、重み更新を単一の低ランク行列とその転置行列の積として学習する。このシンプルな設計により、行列間のスケールの衝突が本質的に除去され、安定した最適化が保証され、パラメータ数がほぼ半減する。SingLoRAを無限幅ニューラルネットワークの枠組みで分析し、構成的に安定した特徴学習を保証することを示す。複数のタスクにおける広範な実験により、これらの利点が検証された。常識推論において、MNLIデータセットでLLama 7BをSingLoRAでファインチューニングした結果、91.3%の精度を達成し、LoRA（89.1%）およびLoRA+（90.2%）を上回りながら、それらのパラメータ予算の60%のみを使用した。画像生成において、Stable DiffusionをSingLoRAでファインチューニングすることで、DreamBoothでの画像忠実度が大幅に向上し、DINO類似度スコアが0.151を達成した。これは、DoRA（0.148）およびLoRA（0.143）のスコアを上回るものである。

English

Low-Rank Adaptation (LoRA) has significantly advanced parameter-efficient fine-tuning of large pretrained models. LoRA augments the pre-trained weights of a model by adding the product of two smaller matrices that together form a low-rank matrix update. Recent research has shown that scale disparities between these two matrices often cause unstable training dynamics, leading to suboptimal performance. In this paper, we propose SingLoRA, which reformulates low-rank adaptation by learning the weights update as a decomposition of a single low-rank matrix multiplied by its transpose. This simple design inherently removes inter-matrix scale conflicts, ensuring stable optimization, and roughly halves the parameter count. We analyze SingLoRA within the infinite-width neural network framework, showing that it guarantees stable feature learning by construction. Extensive experiments on multiple tasks validate these benefits. In common sense reasoning, fine-tuning LLama 7B on MNLI with SingLoRA achieves 91.3% accuracy - surpassing LoRA (89.1%) and LoRA+ (90.2%) - while using only 60% of their parameter budget. In image generation, fine-tuning Stable Diffusion with SingLoRA significantly improves image fidelity on DreamBooth, achieving a DINO similarity score of 0.151, compared to scores of 0.148 and 0.143 for DoRA and LoRA, respectively.