RiemannLoRA: 曖昧性のないLoRA最適化のための統一リーマン幾何学フレームワーク

要旨

低ランク適応（LoRA）は、大規模言語モデル（LLM）のパラメータ効率的なファインチューニングにおいて広く採用されている標準手法であり、メモリと計算リソースの要求を大幅に削減します。しかし、最適な初期化戦略の発見や低ランク行列分解における過剰パラメータ化の緩和といった課題が依然として残されています。本研究では、これらの課題を統一的なフレームワーク内で同時に解決する新たなアプローチを提案します。本手法では、固定ランクのLoRA行列の集合を滑らかな多様体として扱います。適応器をこの多様体上の要素と見なすことで過剰パラメータ化が除去され、多様体に沿った損失の最速減少方向を決定することで初期化が行われます。数値線形代数とリーマン最適化のベストプラクティスを活用し、本手法の数値的安定性と計算効率を確保するための特別な配慮がなされています。LLMおよび拡散モデルアーキテクチャにおける実験結果から、RiemannLoRAは標準的なLoRAおよびその最先端の改良版と比較して、収束速度と最終性能の両方において一貫して改善を示すことが実証されました。

English

Low-Rank Adaptation (LoRA) has become a widely adopted standard for parameter-efficient fine-tuning of large language models (LLMs), significantly reducing memory and computational demands. However, challenges remain, including finding optimal initialization strategies or mitigating overparametrization in low-rank matrix factorization. In this work, we propose a novel approach that addresses both of the challenges simultaneously within a unified framework. Our method treats a set of fixed-rank LoRA matrices as a smooth manifold. Considering adapters as elements on this manifold removes overparametrization, while determining the direction of the fastest loss decrease along the manifold provides initialization. Special care is taken to obtain numerically stable and computationally efficient implementation of our method, using best practices from numerical linear algebra and Riemannian optimization. Experimental results on LLM and diffusion model architectures demonstrate that RiemannLoRA consistently improves both convergence speed and final performance over standard LoRA and its state-of-the-art modifications.

RiemannLoRA: 曖昧性のないLoRA最適化のための統一リーマン幾何学フレームワーク

RiemannLoRA: A Unified Riemannian Framework for Ambiguity-Free LoRA Optimization

要旨

Support