取り残されたタスクはありません：共通およびタスク固有の部分空間を持つ等方モデルのマージング

No Task Left Behind: Isotropic Model Merging with Common and Task-Specific Subspaces

February 7, 2025

著者: Daniel Marczak, Simone Magistri, Sebastian Cygert, Bartłomiej Twardowski, Andrew D. Bagdanov, Joost van de Weijer

cs.AI

要旨

モデルの統合は、複数のタスク固有モデルの重みを1つのマルチタスクモデルに統合します。この問題に対する最近の関心にもかかわらず、統合されたモデルとシングルタスクモデルとの間には、大きな性能差が残っています。本論文では、事前にトレーニングされたモデルに適用される重み更新行列であるタスク行列の主要な特性を調査し、効果的な統合を可能にする要因を検討します。タスク固有および統合された行列の特異成分間の整合性が、事前にトレーニングされたモデルに対する性能向上と強く相関していることを示します。これに基づき、タスク行列の特異値スペクトルを平坦化し、整合性を向上させ、性能差を減少させる等方的統合フレームワークを提案します。さらに、共通およびタスク固有の部分空間を組み込むことで、整合性と性能をさらに向上させます。提案手法は、さまざまなタスクセットやモデルスケールを含む複数のシナリオで最先端の性能を達成します。この研究は、モデルの統合ダイナミクスの理解を進展させ、追加のトレーニングを必要とせずにモデルを統合する効果的な方法論を提供します。コードはhttps://github.com/danielm1405/iso-merging で入手可能です。

English

Model merging integrates the weights of multiple task-specific models into a single multi-task model. Despite recent interest in the problem, a significant performance gap between the combined and single-task models remains. In this paper, we investigate the key characteristics of task matrices -- weight update matrices applied to a pre-trained model -- that enable effective merging. We show that alignment between singular components of task-specific and merged matrices strongly correlates with performance improvement over the pre-trained model. Based on this, we propose an isotropic merging framework that flattens the singular value spectrum of task matrices, enhances alignment, and reduces the performance gap. Additionally, we incorporate both common and task-specific subspaces to further improve alignment and performance. Our proposed approach achieves state-of-the-art performance across multiple scenarios, including various sets of tasks and model scales. This work advances the understanding of model merging dynamics, offering an effective methodology to merge models without requiring additional training. Code is available at https://github.com/danielm1405/iso-merging .