Certaines modalités sont plus égales que d'autres : décoder et architecturer l'intégration multimodale dans les MLLM

Some Modalities are More Equal Than Others: Decoding and Architecting Multimodal Integration in MLLMs

November 28, 2025

papers.authors: Tianle Chen, Chaitanya Chakka, Arjun Reddy Akula, Xavier Thomas, Deepti Ghadiyaram

cs.AI

papers.abstract

Malgré des avancées remarquables dans les modèles de langage multimodaux de grande taille (MLLM), une question fondamentale persiste : les MLLM sont-ils robustes face à des modalités contradictoires ? Pour étudier cela rigoureusement, nous présentons MMA-Bench, un ensemble de vidéos et de tâches conçu pour sonder la dépendance d'un modèle à des modalités spécifiques. En utilisant des techniques d'interprétabilité en boîte noire et en boîte blanche, nous fournissons une analyse critique de la fragilité des MLLM, qu'ils soient open-source ou propriétaires. Nous montrons que les MLLM actuels peinent à gérer des paires audio-visuelles non alignées et des textes simples mais trompeurs, faisant ainsi défaut en matière de raisonnement multimodal robuste. En nous appuyant sur ces résultats, nous proposons une stratégie de réglage par alignement des modalités pour apprendre au modèle à savoir quand privilégier, exploiter ou ignorer les indices d'une modalité spécifique. Grâce à des expériences et analyses approfondies, nous démontrons que notre réglage d'alignement produit un ancrage multimodal sensiblement plus solide. Ce travail fournit à la fois des outils d'interprétabilité et une voie claire pour développer des MLLM dotés d'un raisonnement intermodal intrinsèquement fiable. Le code et le jeu de données seront rendus publics.

English

Despite remarkable advancements in Multimodal Large Language Models (MLLMs), a fundamental question remains: are MLLMs robust to contradicting modalities? To rigorously study this, we introduce MMA-Bench comprising videos and tasks that probe a model's reliance on specific modalities. Using black-box and white-box interpretability techniques, we provide a critical analysis of the brittleness of both open- and closed-sourced MLLMs. We show that current MLLMs struggle under misaligned audio-visual pairs and simple misleading text, thereby lacking robust multi-modal reasoning. Building on these findings, we propose a modality alignment tuning strategy to teach the model when to prioritize, leverage, or ignore specific modality cues. Through extensive experiments and analysis, we show that our alignment tuning yields demonstrably stronger multimodal grounding. This work provides both interpretability tools and a clear path toward developing MLLMs with intrinsically reliable cross-modal reasoning. Code and dataset will be publicly available.