TransAgent : Transférer les modèles fondamentaux Vision-Language avec Collaboration d'Agents Hétérogènes

TransAgent: Transfer Vision-Language Foundation Models with Heterogeneous Agent Collaboration

October 16, 2024

Auteurs: Yiwei Guo, Shaobin Zhuang, Kunchang Li, Yu Qiao, Yali Wang

cs.AI

Résumé

Les modèles fondamentaux vision-langage (comme CLIP) ont récemment démontré leur puissance en transfert d'apprentissage, grâce à un pré-entraînement image-texte à grande échelle. Cependant, les données du domaine cible dans les tâches ultérieures peuvent être très différentes de la phase de pré-entraînement, ce qui rend difficile la généralisation efficace d'un tel modèle unique. En revanche, il existe une large gamme de modèles experts contenant des connaissances visuelles et/ou linguistiques diversifiées pré-entraînées sur différentes modalités, tâches, réseaux et ensembles de données. Malheureusement, ces modèles sont des "agents isolés" avec des structures hétérogènes, et la manière d'intégrer leurs connaissances pour généraliser des modèles similaires à CLIP n'a pas été pleinement explorée. Pour combler cette lacune, nous proposons un cadre TransAgent général et concis, qui transporte les connaissances des agents isolés de manière unifiée, et guide efficacement CLIP pour généraliser avec une distillation des connaissances multi-source. Grâce à ce cadre distinct, nous collaborons de manière flexible avec 11 agents hétérogènes pour renforcer les modèles fondamentaux vision-langage, sans coût supplémentaire lors de la phase d'inférence. Enfin, notre TransAgent atteint des performances de pointe sur 11 ensembles de données de reconnaissance visuelle. Dans le même contexte de faible disponibilité de données, il surpasse le populaire CoOp d'environ 10 % en moyenne, et de 20 % sur EuroSAT qui présente de grands écarts de domaine.

English

Vision-language foundation models (such as CLIP) have recently shown their power in transfer learning, owing to large-scale image-text pre-training. However, target domain data in the downstream tasks can be highly different from the pre-training phase, which makes it hard for such a single model to generalize well. Alternatively, there exists a wide range of expert models that contain diversified vision and/or language knowledge pre-trained on different modalities, tasks, networks, and datasets. Unfortunately, these models are "isolated agents" with heterogeneous structures, and how to integrate their knowledge for generalizing CLIP-like models has not been fully explored. To bridge this gap, we propose a general and concise TransAgent framework, which transports the knowledge of the isolated agents in a unified manner, and effectively guides CLIP to generalize with multi-source knowledge distillation. With such a distinct framework, we flexibly collaborate with 11 heterogeneous agents to empower vision-language foundation models, without further cost in the inference phase. Finally, our TransAgent achieves state-of-the-art performance on 11 visual recognition datasets. Under the same low-shot setting, it outperforms the popular CoOp with around 10% on average, and 20% on EuroSAT which contains large domain shifts.