RiemannLoRA: Een Verenigd Riemanniaans Raamwerk voor Eenduidige LoRA-Optimalisatie

RiemannLoRA: A Unified Riemannian Framework for Ambiguity-Free LoRA Optimization

July 16, 2025

Auteurs: Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Denis Bobkov, Vera Soboleva, Aibek Alanov, Maxim Rakhuba

cs.AI

Samenvatting

Low-Rank Adaptation (LoRA) is uitgegroeid tot een breed geaccepteerde standaard voor parameter-efficiënte fine-tuning van grote taalmodellen (LLMs), wat het geheugen- en rekenverbruik aanzienlijk vermindert. Er blijven echter uitdagingen bestaan, zoals het vinden van optimale initialisatiestrategieën of het beperken van overparametrisatie in low-rank matrixfactorisatie. In dit werk presenteren we een nieuwe aanpak die beide uitdagingen tegelijkertijd aanpakt binnen een geïntegreerd raamwerk. Onze methode behandelt een set van LoRA-matrices met vaste rang als een gladde variëteit. Door adapters te beschouwen als elementen op deze variëteit wordt overparametrisatie geëlimineerd, terwijl het bepalen van de richting van de snelste afname van de verliesfunctie langs de variëteit de initialisatie biedt. Er is speciale aandacht besteed aan het verkrijgen van een numeriek stabiele en rekenkundig efficiënte implementatie van onze methode, waarbij gebruik wordt gemaakt van best practices uit de numerieke lineaire algebra en Riemanniaanse optimalisatie. Experimentele resultaten op LLM- en diffusiemodelarchitecturen laten zien dat RiemannLoRA consistent zowel de convergentiesnelheid als de uiteindelijke prestaties verbetert ten opzichte van standaard LoRA en zijn state-of-the-art aanpassingen.

English

Low-Rank Adaptation (LoRA) has become a widely adopted standard for parameter-efficient fine-tuning of large language models (LLMs), significantly reducing memory and computational demands. However, challenges remain, including finding optimal initialization strategies or mitigating overparametrization in low-rank matrix factorization. In this work, we propose a novel approach that addresses both of the challenges simultaneously within a unified framework. Our method treats a set of fixed-rank LoRA matrices as a smooth manifold. Considering adapters as elements on this manifold removes overparametrization, while determining the direction of the fastest loss decrease along the manifold provides initialization. Special care is taken to obtain numerically stable and computationally efficient implementation of our method, using best practices from numerical linear algebra and Riemannian optimization. Experimental results on LLM and diffusion model architectures demonstrate that RiemannLoRA consistently improves both convergence speed and final performance over standard LoRA and its state-of-the-art modifications.