Nauwkeurige en efficiënte samenvoeging van laagrangige modellen in de kernruimte

Accurate and Efficient Low-Rank Model Merging in Core Space

September 22, 2025

Auteurs: Aniello Panariello, Daniel Marczak, Simone Magistri, Angelo Porrello, Bartłomiej Twardowski, Andrew D. Bagdanov, Simone Calderara, Joost van de Weijer

cs.AI

Samenvatting

In dit artikel gaan we in op de uitdagingen die gepaard gaan met het samenvoegen van low-rank aanpassingen van grote neurale netwerken. Met de opkomst van parameter-efficiënte aanpassingstechnieken, zoals Low-Rank Adaptation (LoRA), is het finetunen van modellen toegankelijker geworden. Hoewel het finetunen van modellen met LoRA zeer efficiënt is, offeren bestaande samenvoegmethoden deze efficiëntie vaak op door volledige gewichtsmatrices samen te voegen. Wij stellen het Core Space-samenvoegkader voor, dat het mogelijk maakt om LoRA-aangepaste modellen samen te voegen binnen een gemeenschappelijke uitlijningsbasis, waardoor de efficiëntie van low-rank aanpassing behouden blijft terwijl de nauwkeurigheid over taken aanzienlijk verbetert. We leveren verder een formeel bewijs dat projectie in Core Space geen verlies van informatie veroorzaakt en bieden een complexiteitsanalyse die de efficiëntiewinsten aantoont. Uitgebreide empirische resultaten laten zien dat Core Space bestaande samenvoegtechnieken aanzienlijk verbetert en state-of-the-art resultaten behaalt op zowel visuele als taaltaken, terwijl slechts een fractie van de rekenbronnen wordt gebruikt. De codebase is beschikbaar op https://github.com/apanariello4/core-space-merging.

English

In this paper, we address the challenges associated with merging low-rank adaptations of large neural networks. With the rise of parameter-efficient adaptation techniques, such as Low-Rank Adaptation (LoRA), model fine-tuning has become more accessible. While fine-tuning models with LoRA is highly efficient, existing merging methods often sacrifice this efficiency by merging fully-sized weight matrices. We propose the Core Space merging framework, which enables the merging of LoRA-adapted models within a common alignment basis, thereby preserving the efficiency of low-rank adaptation while substantially improving accuracy across tasks. We further provide a formal proof that projection into Core Space ensures no loss of information and provide a complexity analysis showing the efficiency gains. Extensive empirical results demonstrate that Core Space significantly improves existing merging techniques and achieves state-of-the-art results on both vision and language tasks while utilizing a fraction of the computational resources. Codebase is available at https://github.com/apanariello4/core-space-merging.