정규화된 저랭크 적응

초록

저랭크 적응(LoRA)이 파라미터 효율적 모델 적응에 널리 사용되고 있지만, 안정적이고 효과적인 최적화를 위해 그 학습 동역학을 정규화하는 방법은 아직 충분히 탐구되지 않았다. LoRA는 업-프로젝션을 0으로 초기화하기 때문에, 초기 최적화 동역학은 주로 다운-프로젝션에 의해 결정된다. 이러한 관찰에 기반하여, 우리는 학습 중 다운-프로젝션 행렬을 정규화하는 간단하면서도 효과적인 방법인 정규화된 저랭크 적응(NoRA)을 소개한다. 또한 동일한 정규화가 초기화 시에만 적용될 수 있음을 보여주며, 학습 전반에 걸쳐 반복적인 정규화 없이도 표준 LoRA를 개선한다. 사전 학습, 지도 미세 조정, 강화 학습 전반에 걸쳐 NoRA는 일관되게 수렴을 가속화하고 성능과 학습 안정성을 개선하며 파괴적 망각을 완화한다. 이러한 이점은 추가적인 학습 가능한 파라미터나 추론 시 계산을 요구하지 않으므로, NoRA를 LoRA에 대한 간단하고 광범위하게 적용 가능한 개선책으로 만든다.

English

While low-rank adaptation (LoRA) is widely used for parameter-efficient model adaptation, how to regularize its training dynamics for stable and effective optimization remains underexplored. Because LoRA initializes the up-projection to zero, its early optimization dynamics are largely governed by the down-projection. Building on this observation, we introduce Normalized Low-Rank Adaptation (NoRA), a simple yet effective method that normalizes the down-projection matrices during training. We further show that the same normalization can be applied only at initialization, improving standard LoRA without requiring repeated normalization throughout training. Across pretraining, supervised finetuning, and reinforcement learning, NoRA consistently accelerates convergence, improves performance and training stability, and mitigates catastrophic forgetting. These benefits require neither additional trainable parameters nor inference-time computation, making NoRA a simple and broadly applicable enhancement to LoRA.