El Aprendizaje Multimodal Verdaderamente en Contexto Requiere Atención al Contexto Visual

True Multimodal In-Context Learning Needs Attention to the Visual Context

July 21, 2025

Autores: Shuo Chen, Jianzhe Liu, Zhen Han, Yan Xia, Daniel Cremers, Philip Torr, Volker Tresp, Jindong Gu

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés), construidos sobre potentes arquitecturas de lenguaje, han permitido el Aprendizaje en Contexto Multimodal (MICL, por sus siglas en inglés), adaptándose a nuevas tareas a partir de unas pocas demostraciones multimodales que incluyen imágenes, preguntas y respuestas. A pesar de mostrar mejoras notables en conjuntos de datos estándar de visión y lenguaje, los MLLMs actuales tienen dificultades para aprovechar la información visual en las demostraciones. Específicamente, tienden a descuidar las señales visuales y a depender en exceso de patrones textuales, lo que lleva a una mera imitación de texto en lugar de una adaptación multimodal genuina. Este comportamiento hace que el MICL siga siendo unimodal y restringe en gran medida su utilidad práctica. Más importante aún, esta limitación a menudo se oculta por el mejor rendimiento en tareas que no requieren comprender el contexto visual. Como resultado, cómo mejorar efectivamente la capacidad del MICL y evaluar de manera confiable su desempeño sigue siendo un área poco explorada. Para abordar estos problemas, primero introducimos la Reasignación Dinámica de Atención (DARA, por sus siglas en inglés), una estrategia de ajuste fino eficiente que fomenta que los modelos presten atención al contexto visual reequilibrando la atención entre los tokens visuales y textuales. Además, presentamos TrueMICL, un conjunto de datos dedicado al MICL con conjuntos de soporte y prueba que requieren explícitamente la integración de información multimodal, particularmente contenido visual, para la correcta realización de la tarea. Experimentos extensos demuestran la efectividad de nuestra solución holística, mostrando mejoras sustanciales en las verdaderas capacidades de aprendizaje en contexto multimodal. El código y los conjuntos de datos están disponibles en https://chenxshuo.github.io/true-micl-colm.

English

Multimodal Large Language Models (MLLMs), built on powerful language backbones, have enabled Multimodal In-Context Learning (MICL)-adapting to new tasks from a few multimodal demonstrations consisting of images, questions, and answers. Despite showing noticeable improvement on standard vision-language datasets, current MLLMs struggle to leverage visual information in the demonstrations. Specifically, they tend to neglect visual cues and over-rely on textual patterns, leading to mere text imitation rather than genuine multimodal adaptation. This behavior makes MICL still unimodal and largely restricts its practical utility. More importantly, this limitation is often concealed by the improved performance on tasks that do not require understanding the visual context. As a result, how to effectively enhance MICL ability and reliably evaluate the MICL performance remains underexplored. To address these issues, we first introduce Dynamic Attention Reallocation (DARA), an efficient fine-tuning strategy that encourages models to attend to the visual context by rebalancing attention across visual and textual tokens. In addition, we present TrueMICL, an MICL-dedicated dataset with both support and test sets that explicitly requires the integration of multimodal information-particularly visual content-for correct task completion. Extensive experiments demonstrate the effectiveness of our holistic solution, showcasing substantial improvements in the true multimodal in-context learning capabilities. Code and datasets are available at https://chenxshuo.github.io/true-micl-colm .