RiemannLoRA : Un cadre riemannien unifié pour l'optimisation sans ambiguïté de LoRA

RiemannLoRA: A Unified Riemannian Framework for Ambiguity-Free LoRA Optimization

July 16, 2025

papers.authors: Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Denis Bobkov, Vera Soboleva, Aibek Alanov, Maxim Rakhuba

cs.AI

papers.abstract

L'adaptation à faible rang (Low-Rank Adaptation, LoRA) est devenue une norme largement adoptée pour le réglage fin efficace en paramètres des grands modèles de langage (LLMs), réduisant significativement les besoins en mémoire et en calcul. Cependant, des défis persistent, notamment la recherche de stratégies d'initialisation optimales ou la mitigation de la surparamétrisation dans la factorisation matricielle à faible rang. Dans ce travail, nous proposons une nouvelle approche qui aborde simultanément ces deux défis dans un cadre unifié. Notre méthode traite un ensemble de matrices LoRA de rang fixe comme une variété lisse. En considérant les adaptateurs comme des éléments sur cette variété, la surparamétrisation est éliminée, tandis que la détermination de la direction de la décroissance la plus rapide de la perte le long de la variété fournit l'initialisation. Une attention particulière est portée à l'obtention d'une implémentation numériquement stable et efficace en calcul de notre méthode, en utilisant les meilleures pratiques de l'algèbre linéaire numérique et de l'optimisation riemannienne. Les résultats expérimentaux sur les architectures de LLM et de modèles de diffusion démontrent que RiemannLoRA améliore de manière constante à la fois la vitesse de convergence et les performances finales par rapport à LoRA standard et à ses modifications de pointe.

English

Low-Rank Adaptation (LoRA) has become a widely adopted standard for parameter-efficient fine-tuning of large language models (LLMs), significantly reducing memory and computational demands. However, challenges remain, including finding optimal initialization strategies or mitigating overparametrization in low-rank matrix factorization. In this work, we propose a novel approach that addresses both of the challenges simultaneously within a unified framework. Our method treats a set of fixed-rank LoRA matrices as a smooth manifold. Considering adapters as elements on this manifold removes overparametrization, while determining the direction of the fastest loss decrease along the manifold provides initialization. Special care is taken to obtain numerically stable and computationally efficient implementation of our method, using best practices from numerical linear algebra and Riemannian optimization. Experimental results on LLM and diffusion model architectures demonstrate that RiemannLoRA consistently improves both convergence speed and final performance over standard LoRA and its state-of-the-art modifications.