코어 공간에서 정확하고 효율적인 저랭크 모델 병합

초록

본 논문에서는 대규모 신경망의 저순위 적응(Low-Rank Adaptation, LoRA)을 병합하는 과정에서 발생하는 문제점들을 다룹니다. LoRA와 같은 매개변수 효율적 적응 기법의 등장으로 모델 미세조정이 더욱 접근 가능해졌습니다. LoRA를 사용한 모델 미세조정은 매우 효율적이지만, 기존의 병합 방법들은 완전한 크기의 가중치 행렬을 병합함으로써 이러한 효율성을 희생하는 경우가 많습니다. 우리는 공통 정렬 기반 내에서 LoRA 적응 모델을 병합할 수 있는 Core Space 병합 프레임워크를 제안합니다. 이를 통해 저순위 적응의 효율성을 유지하면서도 다양한 작업에서의 정확도를 크게 향상시킬 수 있습니다. 또한, Core Space로의 투영이 정보 손실 없이 이루어짐을 공식적으로 증명하고, 효율성 향상을 보여주는 복잡도 분석을 제공합니다. 광범위한 실험 결과를 통해 Core Space가 기존 병합 기법을 크게 개선하고, 시각 및 언어 작업에서 최첨단 결과를 달성하면서도 계산 자원의 일부만을 사용함을 입증합니다. 코드베이스는 https://github.com/apanariello4/core-space-merging에서 확인할 수 있습니다.

English

In this paper, we address the challenges associated with merging low-rank adaptations of large neural networks. With the rise of parameter-efficient adaptation techniques, such as Low-Rank Adaptation (LoRA), model fine-tuning has become more accessible. While fine-tuning models with LoRA is highly efficient, existing merging methods often sacrifice this efficiency by merging fully-sized weight matrices. We propose the Core Space merging framework, which enables the merging of LoRA-adapted models within a common alignment basis, thereby preserving the efficiency of low-rank adaptation while substantially improving accuracy across tasks. We further provide a formal proof that projection into Core Space ensures no loss of information and provide a complexity analysis showing the efficiency gains. Extensive empirical results demonstrate that Core Space significantly improves existing merging techniques and achieves state-of-the-art results on both vision and language tasks while utilizing a fraction of the computational resources. Codebase is available at https://github.com/apanariello4/core-space-merging.

코어 공간에서 정확하고 효율적인 저랭크 모델 병합

Accurate and Efficient Low-Rank Model Merging in Core Space

초록

Support