正規化低ランク適応

要旨

低ランク適応（LoRA）はパラメータ効率的なモデル適応手法として広く用いられているが、安定かつ効果的な最適化を実現するための学習ダイナミクスの調整方法は未だ十分に研究されていない。LoRAはアッププロジェクション行列をゼロに初期化するため、その初期の最適化ダイナミクスは主にダウンプロジェクション行列によって支配される。この観察に基づき、我々は学習中にダウンプロジェクション行列を正規化する、単純でありながら効果的な手法である正規化低ランク適応（NoRA）を提案する。さらに、同じ正規化は初期化時のみに適用することも可能であり、学習全体を通じて繰り返し正規化を行うことなく標準的なLoRAを改善できることを示す。事前学習、教師ありファインチューニング、強化学習のいずれの設定においても、NoRAは一貫して収束を加速し、性能と学習の安定性を向上させ、破滅的忘却を軽減する。これらの利点は追加の学習可能パラメータも推論時の計算も必要としないため、NoRAはLoRAに対する単純かつ広く適用可能な改良となる。

English

While low-rank adaptation (LoRA) is widely used for parameter-efficient model adaptation, how to regularize its training dynamics for stable and effective optimization remains underexplored. Because LoRA initializes the up-projection to zero, its early optimization dynamics are largely governed by the down-projection. Building on this observation, we introduce Normalized Low-Rank Adaptation (NoRA), a simple yet effective method that normalizes the down-projection matrices during training. We further show that the same normalization can be applied only at initialization, improving standard LoRA without requiring repeated normalization throughout training. Across pretraining, supervised finetuning, and reinforcement learning, NoRA consistently accelerates convergence, improves performance and training stability, and mitigates catastrophic forgetting. These benefits require neither additional trainable parameters nor inference-time computation, making NoRA a simple and broadly applicable enhancement to LoRA.