Modelos Multimodales Grandes como Clasificadores Generales en Contexto

Large Multimodal Models as General In-Context Classifiers

February 26, 2026

Autores: Marco Garosi, Matteo Farina, Alessandro Conti, Massimiliano Mancini, Elisa Ricci

cs.AI

Resumen

¿Qué modelo multimodal deberíamos utilizar para clasificación? Estudios previos sugieren que la respuesta reside en los Modelos de Visión y Lenguaje (VLM) contrastivos tipo CLIP, debido a su notable rendimiento en clasificación zero-shot. Por el contrario, los Modelos Multimodales Grandes (LMM) son más adecuados para tareas complejas. En este trabajo, argumentamos que esta respuesta pasa por alto una capacidad importante de los LMM: el aprendizaje en contexto. Evaluamos LMMs de vanguardia en diversos conjuntos de datos para clasificación de mundo cerrado y encontramos que, aunque su rendimiento zero-shot es inferior al de CLIP, los LMMs con unos pocos ejemplos en contexto pueden igualar o incluso superar a los VLM contrastivos con adaptadores basados en caché, su equivalente "en contexto". Extendemos este análisis al entorno de mundo abierto, donde la naturaleza generativa de los LMMs los hace más adecuados para la tarea. En este escenario desafiante, los LMMs presentan dificultades cuando se les proporciona información de contexto imperfecta. Para abordar este problema, proponemos CIRCLE, un método simple que no requiere entrenamiento y que asigna pseudo-etiquetas a los ejemplos en contexto, refinándolas iterativamente con el contexto disponible. A través de experimentos exhaustivos, demostramos que CIRCLE establece una base de referencia robusta para la clasificación de mundo abierto, superando a sus contrapartes VLM y destacando el potencial de los LMMs para servir como clasificadores unificados y una alternativa flexible a los modelos especializados.

English

Which multimodal model should we use for classification? Previous studies suggest that the answer lies in CLIP-like contrastive Vision-Language Models (VLMs), due to their remarkable performance in zero-shot classification. In contrast, Large Multimodal Models (LMM) are more suitable for complex tasks. In this work, we argue that this answer overlooks an important capability of LMMs: in-context learning. We benchmark state-of-the-art LMMs on diverse datasets for closed-world classification and find that, although their zero-shot performance is lower than CLIP's, LMMs with a few in-context examples can match or even surpass contrastive VLMs with cache-based adapters, their "in-context" equivalent. We extend this analysis to the open-world setting, where the generative nature of LMMs makes them more suitable for the task. In this challenging scenario, LMMs struggle whenever provided with imperfect context information. To address this issue, we propose CIRCLE, a simple training-free method that assigns pseudo-labels to in-context examples, iteratively refining them with the available context itself. Through extensive experiments, we show that CIRCLE establishes a robust baseline for open-world classification, surpassing VLM counterparts and highlighting the potential of LMMs to serve as unified classifiers, and a flexible alternative to specialized models.