Les grands modèles multimodaux en tant que classificateurs généraux en contexte
Large Multimodal Models as General In-Context Classifiers
February 26, 2026
Auteurs: Marco Garosi, Matteo Farina, Alessandro Conti, Massimiliano Mancini, Elisa Ricci
cs.AI
Résumé
Quel modèle multimodal devrions-nous utiliser pour la classification ? Les études précédentes suggèrent que la réponse se trouve dans les modèles vision-langage (VLM) contrastifs de type CLIP, en raison de leurs performances remarquables en classification zero-shot. En revanche, les grands modèles multimodaux (LMM) sont plus adaptés aux tâches complexes. Dans ce travail, nous soutenons que cette réponse néglige une capacité importante des LMM : l'apprentissage en contexte. Nous évaluons des LMM de pointe sur divers ensembles de données pour la classification en monde fermé et constatons que, bien que leurs performances en zero-shot soient inférieures à celles de CLIP, les LMM avec quelques exemples en contexte peuvent égaler ou même surpasser les VLM contrastifs équipés d'adaptateurs par cache, leur équivalent "en contexte". Nous étendons cette analyse au cadre du monde ouvert, où la nature générative des LMM les rend plus adaptés à la tâche. Dans ce scénario difficile, les LMM rencontrent des problèmes dès qu'ils reçoivent des informations contextuelles imparfaites. Pour résoudre ce problème, nous proposons CIRCLE, une méthode simple, sans entraînement, qui attribue des pseudo-étiquettes aux exemples en contexte, en les affinant itérativement avec le contexte disponible lui-même. Par des expériences approfondies, nous montrons que CIRCLE établit une base de référence robuste pour la classification en monde ouvert, surpassant les contreparties VLM et mettant en lumière le potentiel des LMM à servir de classificateurs unifiés, et une alternative flexible aux modèles spécialisés.
English
Which multimodal model should we use for classification? Previous studies suggest that the answer lies in CLIP-like contrastive Vision-Language Models (VLMs), due to their remarkable performance in zero-shot classification. In contrast, Large Multimodal Models (LMM) are more suitable for complex tasks. In this work, we argue that this answer overlooks an important capability of LMMs: in-context learning. We benchmark state-of-the-art LMMs on diverse datasets for closed-world classification and find that, although their zero-shot performance is lower than CLIP's, LMMs with a few in-context examples can match or even surpass contrastive VLMs with cache-based adapters, their "in-context" equivalent. We extend this analysis to the open-world setting, where the generative nature of LMMs makes them more suitable for the task. In this challenging scenario, LMMs struggle whenever provided with imperfect context information. To address this issue, we propose CIRCLE, a simple training-free method that assigns pseudo-labels to in-context examples, iteratively refining them with the available context itself. Through extensive experiments, we show that CIRCLE establishes a robust baseline for open-world classification, surpassing VLM counterparts and highlighting the potential of LMMs to serve as unified classifiers, and a flexible alternative to specialized models.