RiemannLoRA: Um Framework Riemanniano Unificado para Otimização de LoRA Livre de Ambiguidades

RiemannLoRA: A Unified Riemannian Framework for Ambiguity-Free LoRA Optimization

July 16, 2025

Autores: Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Denis Bobkov, Vera Soboleva, Aibek Alanov, Maxim Rakhuba

cs.AI

Resumo

A Adaptação de Baixa Classificação (LoRA) tornou-se um padrão amplamente adotado para o ajuste fino eficiente em parâmetros de grandes modelos de linguagem (LLMs), reduzindo significativamente as demandas de memória e computação. No entanto, desafios permanecem, incluindo encontrar estratégias ótimas de inicialização ou mitigar a sobreparametrização na fatoração de matrizes de baixa classificação. Neste trabalho, propomos uma abordagem inovadora que aborda ambos os desafios simultaneamente dentro de um framework unificado. Nosso método trata um conjunto de matrizes LoRA de classificação fixa como uma variedade suave. Considerar os adaptadores como elementos nesta variedade elimina a sobreparametrização, enquanto determinar a direção da diminuição mais rápida da perda ao longo da variedade fornece a inicialização. Cuidados especiais são tomados para obter uma implementação numericamente estável e computacionalmente eficiente do nosso método, utilizando as melhores práticas da álgebra linear numérica e da otimização Riemanniana. Resultados experimentais em arquiteturas de LLM e modelos de difusão demonstram que o RiemannLoRA melhora consistentemente tanto a velocidade de convergência quanto o desempenho final em relação ao LoRA padrão e suas modificações state-of-the-art.

English

Low-Rank Adaptation (LoRA) has become a widely adopted standard for parameter-efficient fine-tuning of large language models (LLMs), significantly reducing memory and computational demands. However, challenges remain, including finding optimal initialization strategies or mitigating overparametrization in low-rank matrix factorization. In this work, we propose a novel approach that addresses both of the challenges simultaneously within a unified framework. Our method treats a set of fixed-rank LoRA matrices as a smooth manifold. Considering adapters as elements on this manifold removes overparametrization, while determining the direction of the fastest loss decrease along the manifold provides initialization. Special care is taken to obtain numerically stable and computationally efficient implementation of our method, using best practices from numerical linear algebra and Riemannian optimization. Experimental results on LLM and diffusion model architectures demonstrate that RiemannLoRA consistently improves both convergence speed and final performance over standard LoRA and its state-of-the-art modifications.