RiemannLoRA: Ein einheitliches Riemannsches Framework für die Mehrdeutigkeitsfreie LoRA-Optimierung

RiemannLoRA: A Unified Riemannian Framework for Ambiguity-Free LoRA Optimization

July 16, 2025

papers.authors: Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Denis Bobkov, Vera Soboleva, Aibek Alanov, Maxim Rakhuba

cs.AI

papers.abstract

Low-Rank Adaptation (LoRA) hat sich als weit verbreiteter Standard für parameter-effizientes Fine-Tuning von großen Sprachmodellen (LLMs) etabliert, wodurch der Speicherbedarf und die Rechenanforderungen erheblich reduziert werden. Dennoch bestehen weiterhin Herausforderungen, wie die Suche nach optimalen Initialisierungsstrategien oder die Vermeidung von Überparametrisierung bei der Low-Rank-Matrixfaktorisierung. In dieser Arbeit schlagen wir einen neuartigen Ansatz vor, der beide Herausforderungen gleichzeitig innerhalb eines einheitlichen Frameworks adressiert. Unsere Methode behandelt eine Menge von LoRA-Matrizen mit festem Rang als eine glatte Mannigfaltigkeit. Die Betrachtung von Adaptern als Elemente auf dieser Mannigfaltigkeit eliminiert die Überparametrisierung, während die Bestimmung der Richtung des schnellsten Verlustabfalls entlang der Mannigfaltigkeit die Initialisierung liefert. Besondere Sorgfalt wird darauf verwendet, eine numerisch stabile und recheneffiziente Implementierung unserer Methode zu gewährleisten, wobei bewährte Verfahren aus der numerischen linearen Algebra und der Riemannschen Optimierung genutzt werden. Experimentelle Ergebnisse auf LLM- und Diffusionsmodell-Architekturen zeigen, dass RiemannLoRA sowohl die Konvergenzgeschwindigkeit als auch die Endleistung im Vergleich zu Standard-LoRA und seinen modernsten Modifikationen konsequent verbessert.

English

Low-Rank Adaptation (LoRA) has become a widely adopted standard for parameter-efficient fine-tuning of large language models (LLMs), significantly reducing memory and computational demands. However, challenges remain, including finding optimal initialization strategies or mitigating overparametrization in low-rank matrix factorization. In this work, we propose a novel approach that addresses both of the challenges simultaneously within a unified framework. Our method treats a set of fixed-rank LoRA matrices as a smooth manifold. Considering adapters as elements on this manifold removes overparametrization, while determining the direction of the fastest loss decrease along the manifold provides initialization. Special care is taken to obtain numerically stable and computationally efficient implementation of our method, using best practices from numerical linear algebra and Riemannian optimization. Experimental results on LLM and diffusion model architectures demonstrate that RiemannLoRA consistently improves both convergence speed and final performance over standard LoRA and its state-of-the-art modifications.