正確かつ効率的なコア空間における低ランクモデルマージ

要旨

本論文では、大規模ニューラルネットワークの低ランク適応を統合する際の課題に取り組む。Low-Rank Adaptation（LoRA）のようなパラメータ効率の良い適応技術の台頭により、モデルのファインチューニングがより容易になった。LoRAを用いたモデルのファインチューニングは非常に効率的であるが、既存の統合手法では完全なサイズの重み行列を統合することでこの効率性を犠牲にすることが多い。我々はCore Space統合フレームワークを提案し、共通のアライメント基盤内でLoRA適応モデルを統合することで、低ランク適応の効率性を維持しつつ、タスク全体の精度を大幅に向上させる。さらに、Core Spaceへの射影が情報の損失を引き起こさないことを正式に証明し、効率性の向上を示す複雑性解析を提供する。広範な実験結果は、Core Spaceが既存の統合技術を大幅に改善し、計算資源の一部を利用しながら、視覚と言語タスクの両方で最先端の結果を達成することを示している。コードベースはhttps://github.com/apanariello4/core-space-mergingで公開されている。

English

In this paper, we address the challenges associated with merging low-rank adaptations of large neural networks. With the rise of parameter-efficient adaptation techniques, such as Low-Rank Adaptation (LoRA), model fine-tuning has become more accessible. While fine-tuning models with LoRA is highly efficient, existing merging methods often sacrifice this efficiency by merging fully-sized weight matrices. We propose the Core Space merging framework, which enables the merging of LoRA-adapted models within a common alignment basis, thereby preserving the efficiency of low-rank adaptation while substantially improving accuracy across tasks. We further provide a formal proof that projection into Core Space ensures no loss of information and provide a complexity analysis showing the efficiency gains. Extensive empirical results demonstrate that Core Space significantly improves existing merging techniques and achieves state-of-the-art results on both vision and language tasks while utilizing a fraction of the computational resources. Codebase is available at https://github.com/apanariello4/core-space-merging.

正確かつ効率的なコア空間における低ランクモデルマージ

Accurate and Efficient Low-Rank Model Merging in Core Space

要旨

Support