Genaue und effiziente Zusammenführung von Low-Rank-Modellen im Kernraum

Accurate and Efficient Low-Rank Model Merging in Core Space

September 22, 2025

papers.authors: Aniello Panariello, Daniel Marczak, Simone Magistri, Angelo Porrello, Bartłomiej Twardowski, Andrew D. Bagdanov, Simone Calderara, Joost van de Weijer

cs.AI

papers.abstract

In diesem Beitrag gehen wir auf die Herausforderungen ein, die mit dem Zusammenführen von Low-Rank-Adaptionen großer neuronaler Netzwerke verbunden sind. Mit dem Aufkommen parameter-effizienter Adaptionstechniken wie Low-Rank Adaptation (LoRA) ist das Feinabstimmen von Modellen zugänglicher geworden. Obwohl das Feinabstimmen von Modellen mit LoRA äußerst effizient ist, opfern bestehende Zusammenführungsmethoden oft diese Effizienz, indem sie vollständig dimensionierte Gewichtsmatrizen zusammenführen. Wir schlagen das Core-Space-Zusammenführungsframework vor, das das Zusammenführen von LoRA-adaptierten Modellen innerhalb einer gemeinsamen Ausrichtungsbasis ermöglicht und dadurch die Effizienz der Low-Rank-Adaption bewahrt, während die Genauigkeit über verschiedene Aufgaben hinweg erheblich verbessert wird. Wir liefern zudem einen formalen Beweis, dass die Projektion in den Core-Space keinen Informationsverlust verursacht, und eine Komplexitätsanalyse, die die Effizienzgewinne zeigt. Umfangreiche empirische Ergebnisse demonstrieren, dass Core-Space bestehende Zusammenführungstechniken signifikant verbessert und state-of-the-art Ergebnisse sowohl bei Bild- als auch bei Sprachaufgaben erzielt, während nur ein Bruchteil der Rechenressourcen genutzt wird. Die Codebasis ist verfügbar unter https://github.com/apanariello4/core-space-merging.

English

In this paper, we address the challenges associated with merging low-rank adaptations of large neural networks. With the rise of parameter-efficient adaptation techniques, such as Low-Rank Adaptation (LoRA), model fine-tuning has become more accessible. While fine-tuning models with LoRA is highly efficient, existing merging methods often sacrifice this efficiency by merging fully-sized weight matrices. We propose the Core Space merging framework, which enables the merging of LoRA-adapted models within a common alignment basis, thereby preserving the efficiency of low-rank adaptation while substantially improving accuracy across tasks. We further provide a formal proof that projection into Core Space ensures no loss of information and provide a complexity analysis showing the efficiency gains. Extensive empirical results demonstrate that Core Space significantly improves existing merging techniques and achieves state-of-the-art results on both vision and language tasks while utilizing a fraction of the computational resources. Codebase is available at https://github.com/apanariello4/core-space-merging.