DivMerge: Een divergentiegebaseerde model-samenvoegingsmethode voor multitasking

DivMerge: A divergence-based model merging method for multi-tasking

September 2, 2025

Auteurs: Touayouch Brahim, Fosse Loïc, Damnati Géraldine, Lecorvé Gwénolé

cs.AI

Samenvatting

Multi-task learning (MTL) wordt vaak bereikt door datasets samen te voegen voordat fine-tuning plaatsvindt, maar de toenemende beschikbaarheid van gefinetunede modellen heeft geleid tot nieuwe benaderingen zoals modelmerging via taakarithmetiek. Een grote uitdaging in deze context is taakinterferentie, die verergert naarmate het aantal taken toeneemt. Wij stellen een methode voor die modellen die op verschillende taken zijn getraind, samenvoegt tot één model, waarbij sterke prestaties op alle taken behouden blijven. Onze aanpak maakt gebruik van Jensen-Shannon-divergentie om het samenvoegproces te begeleiden zonder aanvullende gelabelde data te vereisen, en balanceert automatisch het belang van taken. In tegenstelling tot bestaande methoden blijft onze aanpak robuust naarmate het aantal taken groeit en presteert deze consistent beter dan eerder werk.

English

Multi-task learning (MTL) is often achieved by merging datasets before fine-tuning, but the growing availability of fine-tuned models has led to new approaches such as model merging via task arithmetic. A major challenge in this setting is task interference, which worsens as the number of tasks increases. We propose a method that merges models trained on different tasks into a single model, maintaining strong performance across all tasks. Our approach leverages Jensen-Shannon divergence to guide the merging process without requiring additional labelled data, and automatically balances task importance. Unlike existing methods, our approach remains robust as the number of tasks grows and consistently outperforms prior work.