DivMerge: マルチタスクのための発散度に基づくモデル統合手法

要旨

マルチタスク学習（MTL）は、ファインチューニング前にデータセットを統合することで実現されることが多いが、ファインチューニングされたモデルの増加に伴い、タスク算術を介したモデル統合などの新しいアプローチが登場している。この設定における主要な課題は、タスク干渉であり、タスク数が増えるほど悪化する。本研究では、異なるタスクで訓練されたモデルを単一のモデルに統合し、すべてのタスクで高い性能を維持する手法を提案する。提案手法は、追加のラベル付きデータを必要とせず、Jensen-Shannonダイバージェンスを活用して統合プロセスを導き、タスクの重要性を自動的に調整する。既存の手法とは異なり、提案手法はタスク数が増えても堅牢であり、従来の研究を一貫して上回る性能を示す。

English

Multi-task learning (MTL) is often achieved by merging datasets before fine-tuning, but the growing availability of fine-tuned models has led to new approaches such as model merging via task arithmetic. A major challenge in this setting is task interference, which worsens as the number of tasks increases. We propose a method that merges models trained on different tasks into a single model, maintaining strong performance across all tasks. Our approach leverages Jensen-Shannon divergence to guide the merging process without requiring additional labelled data, and automatically balances task importance. Unlike existing methods, our approach remains robust as the number of tasks grows and consistently outperforms prior work.

DivMerge: マルチタスクのための発散度に基づくモデル統合手法

DivMerge: A divergence-based model merging method for multi-tasking

要旨

Support