Точное и эффективное объединение моделей низкого ранга в основном пространстве
Accurate and Efficient Low-Rank Model Merging in Core Space
September 22, 2025
Авторы: Aniello Panariello, Daniel Marczak, Simone Magistri, Angelo Porrello, Bartłomiej Twardowski, Andrew D. Bagdanov, Simone Calderara, Joost van de Weijer
cs.AI
Аннотация
В данной статье мы рассматриваем проблемы, связанные с объединением низкоранговых адаптаций крупных нейронных сетей. С появлением методов параметрически эффективной адаптации, таких как Low-Rank Adaptation (LoRA), тонкая настройка моделей стала более доступной. Хотя тонкая настройка моделей с использованием LoRA является высокоэффективной, существующие методы объединения часто жертвуют этой эффективностью, объединяя полномасштабные матрицы весов. Мы предлагаем фреймворк Core Space для объединения, который позволяет объединять модели, адаптированные с помощью LoRA, в рамках общего базиса выравнивания, сохраняя при этом эффективность низкоранговой адаптации и значительно повышая точность на различных задачах. Мы также предоставляем формальное доказательство того, что проекция в Core Space гарантирует отсутствие потери информации, и проводим анализ сложности, демонстрирующий выигрыш в эффективности. Обширные эмпирические результаты показывают, что Core Space существенно улучшает существующие методы объединения и достигает современных результатов как в задачах обработки изображений, так и в языковых задачах, используя лишь часть вычислительных ресурсов. Кодовая база доступна по адресу https://github.com/apanariello4/core-space-merging.
English
In this paper, we address the challenges associated with merging low-rank
adaptations of large neural networks. With the rise of parameter-efficient
adaptation techniques, such as Low-Rank Adaptation (LoRA), model fine-tuning
has become more accessible. While fine-tuning models with LoRA is highly
efficient, existing merging methods often sacrifice this efficiency by merging
fully-sized weight matrices. We propose the Core Space merging framework, which
enables the merging of LoRA-adapted models within a common alignment basis,
thereby preserving the efficiency of low-rank adaptation while substantially
improving accuracy across tasks. We further provide a formal proof that
projection into Core Space ensures no loss of information and provide a
complexity analysis showing the efficiency gains. Extensive empirical results
demonstrate that Core Space significantly improves existing merging techniques
and achieves state-of-the-art results on both vision and language tasks while
utilizing a fraction of the computational resources. Codebase is available at
https://github.com/apanariello4/core-space-merging.