Крупные мультимодальные модели как универсальные классификаторы в контексте
Large Multimodal Models as General In-Context Classifiers
February 26, 2026
Авторы: Marco Garosi, Matteo Farina, Alessandro Conti, Massimiliano Mancini, Elisa Ricci
cs.AI
Аннотация
Какую мультимодальную модель следует использовать для классификации? Предыдущие исследования предполагают, что ответ кроется в CLIP-подобных контрастных визуально-языковых моделях (VLM) благодаря их выдающейся производительности в few-shot классификации. В отличие от них, большие мультимодальные модели (LMM) больше подходят для сложных задач. В данной работе мы утверждаем, что этот ответ упускает из виду важную способность LMM — обучение в контексте (in-context learning). Мы проводим сравнительный анализ современных LMM на различных наборах данных для классификации в закрытом мире и обнаруживаем, что, хотя их производительность без дообучения (zero-shot) ниже, чем у CLIP, LMM с несколькими примерами в контексте могут сравниться или даже превзойти контрастные VLM с адаптерами на основе кэша — их «in-context» эквивалент. Мы расширяем этот анализ до условий открытого мира, где генеративная природа LMM делает их более подходящими для задачи. В этом сложном сценарии LMM испытывают трудности, когда им предоставляется неидеальная контекстная информация. Для решения этой проблемы мы предлагаем CIRCLE — простой метод, не требующий обучения, который присваивает псевдометки примерам в контексте, итеративно уточняя их с помощью самого доступного контекста. В ходе обширных экспериментов мы показываем, что CIRCLE устанавливает надежный базовый уровень для классификации в открытом мире, превосходя аналоги на основе VLM и подчеркивая потенциал LMM выступать в качестве унифицированных классификаторов и гибкой альтернативы специализированным моделям.
English
Which multimodal model should we use for classification? Previous studies suggest that the answer lies in CLIP-like contrastive Vision-Language Models (VLMs), due to their remarkable performance in zero-shot classification. In contrast, Large Multimodal Models (LMM) are more suitable for complex tasks. In this work, we argue that this answer overlooks an important capability of LMMs: in-context learning. We benchmark state-of-the-art LMMs on diverse datasets for closed-world classification and find that, although their zero-shot performance is lower than CLIP's, LMMs with a few in-context examples can match or even surpass contrastive VLMs with cache-based adapters, their "in-context" equivalent. We extend this analysis to the open-world setting, where the generative nature of LMMs makes them more suitable for the task. In this challenging scenario, LMMs struggle whenever provided with imperfect context information. To address this issue, we propose CIRCLE, a simple training-free method that assigns pseudo-labels to in-context examples, iteratively refining them with the available context itself. Through extensive experiments, we show that CIRCLE establishes a robust baseline for open-world classification, surpassing VLM counterparts and highlighting the potential of LMMs to serve as unified classifiers, and a flexible alternative to specialized models.