Modelagem Precisa e Eficiente de Fusão de Modelos de Baixa Dimensão no Espaço Central

Accurate and Efficient Low-Rank Model Merging in Core Space

September 22, 2025

Autores: Aniello Panariello, Daniel Marczak, Simone Magistri, Angelo Porrello, Bartłomiej Twardowski, Andrew D. Bagdanov, Simone Calderara, Joost van de Weijer

cs.AI

Resumo

Neste artigo, abordamos os desafios associados à fusão de adaptações de baixo posto (low-rank) em grandes redes neurais. Com o surgimento de técnicas de adaptação eficientes em parâmetros, como a Adaptação de Baixo Posto (LoRA), o ajuste fino de modelos tornou-se mais acessível. Embora o ajuste fino de modelos com LoRA seja altamente eficiente, os métodos de fusão existentes frequentemente sacrificam essa eficiência ao fundir matrizes de pesos de tamanho completo. Propomos o framework de fusão Core Space, que permite a fusão de modelos adaptados com LoRA dentro de uma base de alinhamento comum, preservando assim a eficiência da adaptação de baixo posto enquanto melhora substancialmente a precisão em diversas tarefas. Além disso, fornecemos uma prova formal de que a projeção no Core Space garante a ausência de perda de informação e apresentamos uma análise de complexidade que demonstra os ganhos de eficiência. Resultados empíricos extensivos mostram que o Core Space melhora significativamente as técnicas de fusão existentes e alcança resultados de ponta em tarefas de visão e linguagem, utilizando uma fração dos recursos computacionais. O código está disponível em https://github.com/apanariello4/core-space-merging.

English

In this paper, we address the challenges associated with merging low-rank adaptations of large neural networks. With the rise of parameter-efficient adaptation techniques, such as Low-Rank Adaptation (LoRA), model fine-tuning has become more accessible. While fine-tuning models with LoRA is highly efficient, existing merging methods often sacrifice this efficiency by merging fully-sized weight matrices. We propose the Core Space merging framework, which enables the merging of LoRA-adapted models within a common alignment basis, thereby preserving the efficiency of low-rank adaptation while substantially improving accuracy across tasks. We further provide a formal proof that projection into Core Space ensures no loss of information and provide a complexity analysis showing the efficiency gains. Extensive empirical results demonstrate that Core Space significantly improves existing merging techniques and achieves state-of-the-art results on both vision and language tasks while utilizing a fraction of the computational resources. Codebase is available at https://github.com/apanariello4/core-space-merging.