Un véritable apprentissage multimodal en contexte nécessite une attention particulière au contexte visuel

papers.abstract

Les modèles de langage multimodaux de grande taille (MLLMs), construits sur des architectures linguistiques puissantes, ont permis l'apprentissage en contexte multimodal (MICL) - l'adaptation à de nouvelles tâches à partir de quelques démonstrations multimodales composées d'images, de questions et de réponses. Bien qu'ils montrent des améliorations notables sur les ensembles de données standard en vision et langage, les MLLMs actuels peinent à exploiter les informations visuelles dans les démonstrations. Plus précisément, ils ont tendance à négliger les indices visuels et à trop s'appuyer sur les motifs textuels, conduisant à une simple imitation du texte plutôt qu'à une véritable adaptation multimodale. Ce comportement rend le MICL encore unimodal et limite grandement son utilité pratique. Plus important encore, cette limitation est souvent masquée par l'amélioration des performances sur des tâches ne nécessitant pas la compréhension du contexte visuel. Par conséquent, la manière d'améliorer efficacement les capacités du MICL et d'évaluer de manière fiable ses performances reste peu explorée. Pour résoudre ces problèmes, nous introduisons d'abord la Réallocation Dynamique de l'Attention (DARA), une stratégie de fine-tuning efficace qui encourage les modèles à se concentrer sur le contexte visuel en rééquilibrant l'attention entre les tokens visuels et textuels. En outre, nous présentons TrueMICL, un ensemble de données dédié au MICL avec des ensembles de support et de test qui exigent explicitement l'intégration d'informations multimodales - en particulier le contenu visuel - pour accomplir correctement les tâches. Des expériences approfondies démontrent l'efficacité de notre solution holistique, mettant en évidence des améliorations substantielles dans les véritables capacités d'apprentissage en contexte multimodal. Le code et les ensembles de données sont disponibles à l'adresse https://chenxshuo.github.io/true-micl-colm.

English

Multimodal Large Language Models (MLLMs), built on powerful language backbones, have enabled Multimodal In-Context Learning (MICL)-adapting to new tasks from a few multimodal demonstrations consisting of images, questions, and answers. Despite showing noticeable improvement on standard vision-language datasets, current MLLMs struggle to leverage visual information in the demonstrations. Specifically, they tend to neglect visual cues and over-rely on textual patterns, leading to mere text imitation rather than genuine multimodal adaptation. This behavior makes MICL still unimodal and largely restricts its practical utility. More importantly, this limitation is often concealed by the improved performance on tasks that do not require understanding the visual context. As a result, how to effectively enhance MICL ability and reliably evaluate the MICL performance remains underexplored. To address these issues, we first introduce Dynamic Attention Reallocation (DARA), an efficient fine-tuning strategy that encourages models to attend to the visual context by rebalancing attention across visual and textual tokens. In addition, we present TrueMICL, an MICL-dedicated dataset with both support and test sets that explicitly requires the integration of multimodal information-particularly visual content-for correct task completion. Extensive experiments demonstrate the effectiveness of our holistic solution, showcasing substantial improvements in the true multimodal in-context learning capabilities. Code and datasets are available at https://chenxshuo.github.io/true-micl-colm .

Un véritable apprentissage multimodal en contexte nécessite une attention particulière au contexte visuel

True Multimodal In-Context Learning Needs Attention to the Visual Context

papers.abstract

Support