Для истинного мультимодального обучения в контексте необходимо уделять внимание визуальному контексту.

Аннотация

Мультимодальные большие языковые модели (MLLMs), построенные на мощных языковых основах, обеспечили возможность мультимодального обучения в контексте (MICL) — адаптации к новым задачам на основе нескольких мультимодальных демонстраций, включающих изображения, вопросы и ответы. Несмотря на заметное улучшение на стандартных наборах данных для задач "визуальный язык", современные MLLMs испытывают трудности с использованием визуальной информации в демонстрациях. В частности, они склонны игнорировать визуальные подсказки и чрезмерно полагаться на текстовые шаблоны, что приводит к простому подражанию тексту, а не к подлинной мультимодальной адаптации. Такое поведение делает MICL по-прежнему унимодальным и существенно ограничивает его практическую применимость. Более того, это ограничение часто скрывается за улучшенной производительностью на задачах, не требующих понимания визуального контекста. В результате, как эффективно усилить способности MICL и надежно оценить его производительность, остается недостаточно изученным. Для решения этих проблем мы сначала представляем Dynamic Attention Reallocation (DARA) — эффективную стратегию тонкой настройки, которая побуждает модели обращать внимание на визуальный контекст путем перераспределения внимания между визуальными и текстовыми токенами. Кроме того, мы представляем TrueMICL — специализированный набор данных для MICL, включающий как обучающие, так и тестовые наборы, которые явно требуют интеграции мультимодальной информации, особенно визуального контента, для правильного выполнения задач. Многочисленные эксперименты демонстрируют эффективность нашего комплексного решения, показывая значительные улучшения в подлинных мультимодальных способностях обучения в контексте. Код и наборы данных доступны по адресу https://chenxshuo.github.io/true-micl-colm.

English

Multimodal Large Language Models (MLLMs), built on powerful language backbones, have enabled Multimodal In-Context Learning (MICL)-adapting to new tasks from a few multimodal demonstrations consisting of images, questions, and answers. Despite showing noticeable improvement on standard vision-language datasets, current MLLMs struggle to leverage visual information in the demonstrations. Specifically, they tend to neglect visual cues and over-rely on textual patterns, leading to mere text imitation rather than genuine multimodal adaptation. This behavior makes MICL still unimodal and largely restricts its practical utility. More importantly, this limitation is often concealed by the improved performance on tasks that do not require understanding the visual context. As a result, how to effectively enhance MICL ability and reliably evaluate the MICL performance remains underexplored. To address these issues, we first introduce Dynamic Attention Reallocation (DARA), an efficient fine-tuning strategy that encourages models to attend to the visual context by rebalancing attention across visual and textual tokens. In addition, we present TrueMICL, an MICL-dedicated dataset with both support and test sets that explicitly requires the integration of multimodal information-particularly visual content-for correct task completion. Extensive experiments demonstrate the effectiveness of our holistic solution, showcasing substantial improvements in the true multimodal in-context learning capabilities. Code and datasets are available at https://chenxshuo.github.io/true-micl-colm .

Для истинного мультимодального обучения в контексте необходимо уделять внимание визуальному контексту.

True Multimodal In-Context Learning Needs Attention to the Visual Context

Аннотация

Support