AdaMMS : Fusion de modèles pour les grands modèles de langage multimodaux hétérogènes avec optimisation non supervisée des coefficients

AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization

March 31, 2025

Auteurs: Yiyang Du, Xiaochen Wang, Chi Chen, Jiabo Ye, Yiru Wang, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Zhifang Sui, Maosong Sun, Yang Liu

cs.AI

Résumé

Récemment, les méthodes de fusion de modèles ont démontré des capacités puissantes pour combiner les compétences sur diverses tâches issues de plusieurs grands modèles de langage (LLMs). Alors que les méthodes précédentes de fusion de modèles se concentraient principalement sur la fusion de modèles homogènes avec une architecture identique, elles rencontrent des difficultés lorsqu'il s'agit de traiter des grands modèles de langage multimodaux (MLLMs) présentant une propriété hétérogène inhérente, incluant des différences dans l'architecture des modèles et une asymétrie dans l'espace des paramètres. Dans ce travail, nous proposons AdaMMS, une nouvelle méthode de fusion de modèles conçue pour les MLLMs hétérogènes. Notre méthode aborde ces défis en trois étapes : cartographie, fusion et recherche. Plus précisément, nous concevons d'abord une fonction de cartographie entre les modèles pour appliquer la fusion de modèles sur des MLLMs avec des architectures différentes. Ensuite, nous appliquons une interpolation linéaire sur les poids des modèles pour s'adapter activement à l'asymétrie des MLLMs hétérogènes. Enfin, dans l'étape de recherche des hyperparamètres, nous proposons une méthode de sélection non supervisée des hyperparamètres pour la fusion de modèles. En tant que première méthode de fusion de modèles capable de fusionner des MLLMs hétérogènes sans données étiquetées, des expériences approfondies sur diverses combinaisons de modèles ont démontré qu'AdaMMS surpasse les méthodes précédentes de fusion de modèles sur divers benchmarks vision-langage.

English

Recently, model merging methods have demonstrated powerful strengths in combining abilities on various tasks from multiple Large Language Models (LLMs). While previous model merging methods mainly focus on merging homogeneous models with identical architecture, they meet challenges when dealing with Multimodal Large Language Models (MLLMs) with inherent heterogeneous property, including differences in model architecture and the asymmetry in the parameter space. In this work, we propose AdaMMS, a novel model merging method tailored for heterogeneous MLLMs. Our method tackles the challenges in three steps: mapping, merging and searching. Specifically, we first design mapping function between models to apply model merging on MLLMs with different architecture. Then we apply linear interpolation on model weights to actively adapt the asymmetry in the heterogeneous MLLMs. Finally in the hyper-parameter searching step, we propose an unsupervised hyper-parameter selection method for model merging. As the first model merging method capable of merging heterogeneous MLLMs without labeled data, extensive experiments on various model combinations demonstrated that AdaMMS outperforms previous model merging methods on various vision-language benchmarks.