Grandi Modelli Multimodali come Classificatori Generici In-Contesto

Large Multimodal Models as General In-Context Classifiers

February 26, 2026

Autori: Marco Garosi, Matteo Farina, Alessandro Conti, Massimiliano Mancini, Elisa Ricci

cs.AI

Abstract

Quale modello multimodale dovremmo utilizzare per la classificazione? Studi precedenti suggeriscono che la risposta risieda nei modelli visione-linguaggio (VLM) contrastivi di tipo CLIP, grazie alla loro prestazione notevole nella classificazione zero-shot. Al contrario, i Large Multimodal Model (LMM) sono più adatti per compiti complessi. In questo lavoro, sosteniamo che questa risposta tralascia un'importante capacità degli LMM: l'apprendimento in contesto (in-context learning). Eseguiamo un benchmark degli LMM allo stato dell'arte su diversi dataset per la classificazione in mondo chiuso e scopriamo che, sebbene le loro prestazioni zero-shot siano inferiori a quelle di CLIP, gli LMM con alcuni esempi in contesto possono eguagliare o addirittura superare i VLM contrastivi dotati di adattatori basati su cache, il loro equivalente "in contesto". Estendiamo questa analisi allo scenario di mondo aperto, dove la natura generativa degli LMM li rende più adatti al compito. In questo scenario impegnativo, gli LMM mostrano difficoltà quando vengono forniti con informazioni di contesto imperfette. Per affrontare questo problema, proponiamo CIRCLE, un semplice metodo senza addestramento che assegna pseudo-etichette agli esempi in contesto, affinandole iterativamente con il contesto disponibile stesso. Attraverso esperimenti estensivi, dimostriamo che CIRCLE stabilisce una baseline robusta per la classificazione in mondo aperto, superando le controparti VLM ed evidenziando il potenziale degli LMM di fungere da classificatori unificati e un'alternativa flessibile ai modelli specializzati.

English

Which multimodal model should we use for classification? Previous studies suggest that the answer lies in CLIP-like contrastive Vision-Language Models (VLMs), due to their remarkable performance in zero-shot classification. In contrast, Large Multimodal Models (LMM) are more suitable for complex tasks. In this work, we argue that this answer overlooks an important capability of LMMs: in-context learning. We benchmark state-of-the-art LMMs on diverse datasets for closed-world classification and find that, although their zero-shot performance is lower than CLIP's, LMMs with a few in-context examples can match or even surpass contrastive VLMs with cache-based adapters, their "in-context" equivalent. We extend this analysis to the open-world setting, where the generative nature of LMMs makes them more suitable for the task. In this challenging scenario, LMMs struggle whenever provided with imperfect context information. To address this issue, we propose CIRCLE, a simple training-free method that assigns pseudo-labels to in-context examples, iteratively refining them with the available context itself. Through extensive experiments, we show that CIRCLE establishes a robust baseline for open-world classification, surpassing VLM counterparts and highlighting the potential of LMMs to serve as unified classifiers, and a flexible alternative to specialized models.