Некоторые модальности равнее других: декодирование и проектирование мультимодальной интеграции в многомодальных языковых моделях

Some Modalities are More Equal Than Others: Decoding and Architecting Multimodal Integration in MLLMs

November 28, 2025

Авторы: Tianle Chen, Chaitanya Chakka, Arjun Reddy Akula, Xavier Thomas, Deepti Ghadiyaram

cs.AI

Аннотация

Несмотря на значительные успехи в разработке мультимодальных больших языковых моделей (MLLM), фундаментальный вопрос остается открытым: устойчивы ли MLLM к противоречиям между модальностями? Для систематического изучения этой проблемы мы представляем MMA-Bench — набор видеоданных и задач, которые проверяют зависимость модели от конкретных модальностей. Используя методы интерпретируемости типа «черного ящика» и «белого ящика», мы проводим критический анализ хрупкости как открытых, так и проприетарных MLLM. Мы демонстрируем, что современные MLLM демонстрируют низкую производительность при работе с несогласованными аудиовизуальными парами и простыми вводящими в заблуждение текстовыми данными, что свидетельствует об отсутствии надежного мультимодального мышления. На основе этих результатов мы предлагаем стратегию настройки выравнивания модальностей, которая учит модель определять, когда следует отдавать приоритет, использовать или игнорировать сигналы конкретной модальности. В ходе масштабных экспериментов и анализа мы показываем, что наша методика выравнивания обеспечивает значительное улучшение мультимодального обоснования. Данная работа предоставляет как инструменты интерпретируемости, так и четкий путь к созданию MLLM с внутренне надежным межмодальным мышлением. Код и набор данных будут общедоступны.

English

Despite remarkable advancements in Multimodal Large Language Models (MLLMs), a fundamental question remains: are MLLMs robust to contradicting modalities? To rigorously study this, we introduce MMA-Bench comprising videos and tasks that probe a model's reliance on specific modalities. Using black-box and white-box interpretability techniques, we provide a critical analysis of the brittleness of both open- and closed-sourced MLLMs. We show that current MLLMs struggle under misaligned audio-visual pairs and simple misleading text, thereby lacking robust multi-modal reasoning. Building on these findings, we propose a modality alignment tuning strategy to teach the model when to prioritize, leverage, or ignore specific modality cues. Through extensive experiments and analysis, we show that our alignment tuning yields demonstrably stronger multimodal grounding. This work provides both interpretability tools and a clear path toward developing MLLMs with intrinsically reliable cross-modal reasoning. Code and dataset will be publicly available.