Manche Modalitäten sind gleicher als andere: Dekodierung und Architektur multimodaler Integration in MLLMs.
Some Modalities are More Equal Than Others: Decoding and Architecting Multimodal Integration in MLLMs
November 28, 2025
papers.authors: Tianle Chen, Chaitanya Chakka, Arjun Reddy Akula, Xavier Thomas, Deepti Ghadiyaram
cs.AI
papers.abstract
Trotz bemerkenswerter Fortschritte bei multimodalen großen Sprachmodellen (MLLMs) bleibt eine grundlegende Frage bestehen: Sind MLLMs robust gegenüber widersprüchlichen Modalitäten? Um dies rigoros zu untersuchen, führen wir MMA-Bench ein, bestehend aus Videos und Aufgaben, die die Abhängigkeit eines Modells von bestimmten Modalitäten untersuchen. Mithilfe von Black-Box- und White-Box-Interpretierbarkeitstechniken liefern wir eine kritische Analyse der Anfälligkeit sowohl von Open-Source- als auch von Closed-Source-MLLMs. Wir zeigen, dass aktuelle MLLMs bei nicht übereinstimmenden audiovisuellen Paaren und einfacher irreführender Textbeschreibung Schwächen aufweisen und somit kein robustes multimodales Reasoning besitzen. Aufbauend auf diesen Erkenntnissen schlagen wir eine Modalitätsabgleichs-Tuning-Strategie vor, um dem Modell beizubringen, wann es bestimmte Modalitätshinweise priorisieren, nutzen oder ignorieren soll. Durch umfangreiche Experimente und Analysen zeigen wir, dass unser Abgleichs-Tuning nachweislich stärkere multimodale Verankerung bewirkt. Diese Arbeit bietet sowohl Interpretierbarkeitstools als auch einen klaren Weg zur Entwicklung von MLLMs mit intrinsisch zuverlässigem cross-modalem Reasoning. Code und Datensatz werden öffentlich verfügbar sein.
English
Despite remarkable advancements in Multimodal Large Language Models (MLLMs), a fundamental question remains: are MLLMs robust to contradicting modalities? To rigorously study this, we introduce MMA-Bench comprising videos and tasks that probe a model's reliance on specific modalities. Using black-box and white-box interpretability techniques, we provide a critical analysis of the brittleness of both open- and closed-sourced MLLMs. We show that current MLLMs struggle under misaligned audio-visual pairs and simple misleading text, thereby lacking robust multi-modal reasoning. Building on these findings, we propose a modality alignment tuning strategy to teach the model when to prioritize, leverage, or ignore specific modality cues. Through extensive experiments and analysis, we show that our alignment tuning yields demonstrably stronger multimodal grounding. This work provides both interpretability tools and a clear path toward developing MLLMs with intrinsically reliable cross-modal reasoning. Code and dataset will be publicly available.