Il vero apprendimento multimodale in-context richiede attenzione al contesto visivo

True Multimodal In-Context Learning Needs Attention to the Visual Context

July 21, 2025

Autori: Shuo Chen, Jianzhe Liu, Zhen Han, Yan Xia, Daniel Cremers, Philip Torr, Volker Tresp, Jindong Gu

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grande Scala (MLLMs), costruiti su robuste architetture linguistiche, hanno abilitato l'Apprendimento in Contesto Multimodale (MICL) - l'adattamento a nuovi compiti a partire da poche dimostrazioni multimodali costituite da immagini, domande e risposte. Nonostante mostrino un miglioramento significativo sui dataset standard di visione e linguaggio, gli attuali MLLMs faticano a sfruttare le informazioni visive nelle dimostrazioni. Nello specifico, tendono a trascurare gli indizi visivi e a fare eccessivo affidamento sui modelli testuali, portando a una mera imitazione del testo piuttosto che a un autentico adattamento multimodale. Questo comportamento rende il MICL ancora unimodale e ne limita fortemente l'utilità pratica. Ancora più importante, questa limitazione è spesso mascherata dal miglioramento delle prestazioni su compiti che non richiedono la comprensione del contesto visivo. Di conseguenza, come migliorare efficacemente le capacità del MICL e valutare in modo affidabile le prestazioni del MICL rimane poco esplorato. Per affrontare questi problemi, introduciamo innanzitutto la Riallocazione Dinamica dell'Attenzione (DARA), una strategia di fine-tuning efficiente che incoraggia i modelli a prestare attenzione al contesto visivo riequilibrando l'attenzione tra i token visivi e testuali. Inoltre, presentiamo TrueMICL, un dataset dedicato al MICL con set di supporto e di test che richiedono esplicitamente l'integrazione di informazioni multimodali - in particolare contenuti visivi - per il corretto completamento del compito. Esperimenti estesi dimostrano l'efficacia della nostra soluzione olistica, mostrando miglioramenti sostanziali nelle vere capacità di apprendimento in contesto multimodale. Codice e dataset sono disponibili all'indirizzo https://chenxshuo.github.io/true-micl-colm.

English

Multimodal Large Language Models (MLLMs), built on powerful language backbones, have enabled Multimodal In-Context Learning (MICL)-adapting to new tasks from a few multimodal demonstrations consisting of images, questions, and answers. Despite showing noticeable improvement on standard vision-language datasets, current MLLMs struggle to leverage visual information in the demonstrations. Specifically, they tend to neglect visual cues and over-rely on textual patterns, leading to mere text imitation rather than genuine multimodal adaptation. This behavior makes MICL still unimodal and largely restricts its practical utility. More importantly, this limitation is often concealed by the improved performance on tasks that do not require understanding the visual context. As a result, how to effectively enhance MICL ability and reliably evaluate the MICL performance remains underexplored. To address these issues, we first introduce Dynamic Attention Reallocation (DARA), an efficient fine-tuning strategy that encourages models to attend to the visual context by rebalancing attention across visual and textual tokens. In addition, we present TrueMICL, an MICL-dedicated dataset with both support and test sets that explicitly requires the integration of multimodal information-particularly visual content-for correct task completion. Extensive experiments demonstrate the effectiveness of our holistic solution, showcasing substantial improvements in the true multimodal in-context learning capabilities. Code and datasets are available at https://chenxshuo.github.io/true-micl-colm .