Fusion précise et efficace de modèles de faible rang dans l'espace central

Accurate and Efficient Low-Rank Model Merging in Core Space

September 22, 2025

papers.authors: Aniello Panariello, Daniel Marczak, Simone Magistri, Angelo Porrello, Bartłomiej Twardowski, Andrew D. Bagdanov, Simone Calderara, Joost van de Weijer

cs.AI

papers.abstract

Dans cet article, nous abordons les défis liés à la fusion des adaptations de faible rang des grands réseaux de neurones. Avec l'essor des techniques d'adaptation paramétriquement efficaces, telles que l'Adaptation de Faible Rang (LoRA), le fine-tuning des modèles est devenu plus accessible. Bien que le fine-tuning des modèles avec LoRA soit très efficace, les méthodes de fusion existantes sacrifient souvent cette efficacité en fusionnant des matrices de poids de taille complète. Nous proposons le cadre de fusion Core Space, qui permet la fusion des modèles adaptés par LoRA dans une base d'alignement commune, préservant ainsi l'efficacité de l'adaptation de faible rang tout en améliorant considérablement la précision sur diverses tâches. Nous fournissons également une preuve formelle que la projection dans l'espace Core garantit l'absence de perte d'information et une analyse de complexité montrant les gains d'efficacité. Les résultats empiriques approfondis démontrent que Core Space améliore significativement les techniques de fusion existantes et atteint des résultats de pointe sur les tâches de vision et de langage tout en utilisant une fraction des ressources computationnelles. Le code est disponible à l'adresse suivante : https://github.com/apanariello4/core-space-merging.

English

In this paper, we address the challenges associated with merging low-rank adaptations of large neural networks. With the rise of parameter-efficient adaptation techniques, such as Low-Rank Adaptation (LoRA), model fine-tuning has become more accessible. While fine-tuning models with LoRA is highly efficient, existing merging methods often sacrifice this efficiency by merging fully-sized weight matrices. We propose the Core Space merging framework, which enables the merging of LoRA-adapted models within a common alignment basis, thereby preserving the efficiency of low-rank adaptation while substantially improving accuracy across tasks. We further provide a formal proof that projection into Core Space ensures no loss of information and provide a complexity analysis showing the efficiency gains. Extensive empirical results demonstrate that Core Space significantly improves existing merging techniques and achieves state-of-the-art results on both vision and language tasks while utilizing a fraction of the computational resources. Codebase is available at https://github.com/apanariello4/core-space-merging.