RiemannLoRA: Un Framework Riemanniano Unificato per l'Ottimizzazione di LoRA senza Ambiguità

RiemannLoRA: A Unified Riemannian Framework for Ambiguity-Free LoRA Optimization

July 16, 2025

Autori: Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Denis Bobkov, Vera Soboleva, Aibek Alanov, Maxim Rakhuba

cs.AI

Abstract

La Low-Rank Adaptation (LoRA) è diventata uno standard ampiamente adottato per il fine-tuning efficiente in termini di parametri di grandi modelli linguistici (LLM), riducendo significativamente le richieste di memoria e computazionali. Tuttavia, permangono delle sfide, tra cui la ricerca di strategie di inizializzazione ottimali o la mitigazione dell'overparametrizzazione nella fattorizzazione di matrici a basso rango. In questo lavoro, proponiamo un approccio innovativo che affronta entrambe le sfide simultaneamente all'interno di un framework unificato. Il nostro metodo tratta un insieme di matrici LoRA a rango fisso come una varietà liscia. Considerare gli adattatori come elementi su questa varietà elimina l'overparametrizzazione, mentre determinare la direzione della più rapida diminuzione della perdita lungo la varietà fornisce l'inizializzazione. Particolare attenzione è stata dedicata per ottenere un'implementazione numericamente stabile e computazionalmente efficiente del nostro metodo, utilizzando le migliori pratiche dell'algebra lineare numerica e dell'ottimizzazione Riemanniana. I risultati sperimentali su architetture di LLM e modelli di diffusione dimostrano che RiemannLoRA migliora costantemente sia la velocità di convergenza che le prestazioni finali rispetto alla LoRA standard e alle sue modifiche all'avanguardia.

English

Low-Rank Adaptation (LoRA) has become a widely adopted standard for parameter-efficient fine-tuning of large language models (LLMs), significantly reducing memory and computational demands. However, challenges remain, including finding optimal initialization strategies or mitigating overparametrization in low-rank matrix factorization. In this work, we propose a novel approach that addresses both of the challenges simultaneously within a unified framework. Our method treats a set of fixed-rank LoRA matrices as a smooth manifold. Considering adapters as elements on this manifold removes overparametrization, while determining the direction of the fastest loss decrease along the manifold provides initialization. Special care is taken to obtain numerically stable and computationally efficient implementation of our method, using best practices from numerical linear algebra and Riemannian optimization. Experimental results on LLM and diffusion model architectures demonstrate that RiemannLoRA consistently improves both convergence speed and final performance over standard LoRA and its state-of-the-art modifications.