Echte Multimodale In-Context Learning Vereist Aandacht voor de Visuele Context

Samenvatting

Multimodale Large Language Models (MLLMs), gebouwd op krachtige taalbackbones, hebben Multimodale In-Context Learning (MICL) mogelijk gemaakt - het aanpassen aan nieuwe taken op basis van enkele multimodale demonstraties bestaande uit afbeeldingen, vragen en antwoorden. Ondanks aanzienlijke verbeteringen op standaard visie-taal datasets, hebben huidige MLLMs moeite om visuele informatie in de demonstraties te benutten. Specifiek neigen ze visuele aanwijzingen te negeren en te veel te vertrouwen op tekstuele patronen, wat leidt tot louter tekstimitatie in plaats van echte multimodale aanpassing. Dit gedrag maakt MICL nog steeds unimodaal en beperkt grotendeels de praktische bruikbaarheid. Belangrijker nog, deze beperking wordt vaak verhuld door de verbeterde prestaties op taken die geen begrip van de visuele context vereisen. Als gevolg hiervan blijft het effectief verbeteren van MICL-vaardigheden en het betrouwbaar evalueren van MICL-prestaties onderbelicht. Om deze problemen aan te pakken, introduceren we eerst Dynamic Attention Reallocation (DARA), een efficiënte fine-tuning strategie die modellen aanmoedigt om aandacht te besteden aan de visuele context door de aandacht te herverdelen over visuele en tekstuele tokens. Daarnaast presenteren we TrueMICL, een MICL-specifieke dataset met zowel ondersteunende als test sets die expliciet de integratie van multimodale informatie - met name visuele inhoud - vereist voor correcte taakvoltooiing. Uitgebreide experimenten tonen de effectiviteit van onze holistische oplossing aan, met aanzienlijke verbeteringen in de echte multimodale in-context leerprestaties. Code en datasets zijn beschikbaar op https://chenxshuo.github.io/true-micl-colm.

English

Multimodal Large Language Models (MLLMs), built on powerful language backbones, have enabled Multimodal In-Context Learning (MICL)-adapting to new tasks from a few multimodal demonstrations consisting of images, questions, and answers. Despite showing noticeable improvement on standard vision-language datasets, current MLLMs struggle to leverage visual information in the demonstrations. Specifically, they tend to neglect visual cues and over-rely on textual patterns, leading to mere text imitation rather than genuine multimodal adaptation. This behavior makes MICL still unimodal and largely restricts its practical utility. More importantly, this limitation is often concealed by the improved performance on tasks that do not require understanding the visual context. As a result, how to effectively enhance MICL ability and reliably evaluate the MICL performance remains underexplored. To address these issues, we first introduce Dynamic Attention Reallocation (DARA), an efficient fine-tuning strategy that encourages models to attend to the visual context by rebalancing attention across visual and textual tokens. In addition, we present TrueMICL, an MICL-dedicated dataset with both support and test sets that explicitly requires the integration of multimodal information-particularly visual content-for correct task completion. Extensive experiments demonstrate the effectiveness of our holistic solution, showcasing substantial improvements in the true multimodal in-context learning capabilities. Code and datasets are available at https://chenxshuo.github.io/true-micl-colm .

Echte Multimodale In-Context Learning Vereist Aandacht voor de Visuele Context

True Multimodal In-Context Learning Needs Attention to the Visual Context

Samenvatting

Support