Sommige modaliteiten zijn gelijker dan andere: het decoderen en ontwerpen van multimodale integratie in MLLM's
Some Modalities are More Equal Than Others: Decoding and Architecting Multimodal Integration in MLLMs
November 28, 2025
Auteurs: Tianle Chen, Chaitanya Chakka, Arjun Reddy Akula, Xavier Thomas, Deepti Ghadiyaram
cs.AI
Samenvatting
Ondanks opmerkelijke vooruitgang in Multimodale Large Language Models (MLLM's) blijft een fundamentele vraag bestaan: zijn MLLM's robuust tegenover tegenstrijdige modaliteiten? Om dit rigoureus te bestuderen, introduceren we MMA-Bench, bestaande uit video's en taken die de afhankelijkheid van een model van specifieke modaliteiten onderzoeken. Met behulp van black-box en white-box interpreteerbaarheidstechnieken bieden we een kritische analyse van de broosheid van zowel open-source als closed-source MLLM's. We tonen aan dat huidige MLLM's moeite hebben met niet-uitgelijnde audio-visuele paren en eenvoudige misleidende tekst, en dus geen robuuste multimodale redenering bezitten. Voortbouwend op deze bevindingen stellen we een modaliteitsuitlijningsafstemmingsstrategie voor om het model te leren wanneer het specifieke modaliteitssignalen moet prioriteren, benutten of negeren. Door middel van uitgebreide experimenten en analyse tonen we aan dat onze afstemming op uitlijning aantoonbaar sterkere multimodale verankering oplevert. Dit werk biedt zowel interpreteerbaarheidstools als een duidelijk pad naar de ontwikkeling van MLLM's met intrinsiek betrouwbare cross-modale redenering. Code en dataset zullen openbaar beschikbaar worden gesteld.
English
Despite remarkable advancements in Multimodal Large Language Models (MLLMs), a fundamental question remains: are MLLMs robust to contradicting modalities? To rigorously study this, we introduce MMA-Bench comprising videos and tasks that probe a model's reliance on specific modalities. Using black-box and white-box interpretability techniques, we provide a critical analysis of the brittleness of both open- and closed-sourced MLLMs. We show that current MLLMs struggle under misaligned audio-visual pairs and simple misleading text, thereby lacking robust multi-modal reasoning. Building on these findings, we propose a modality alignment tuning strategy to teach the model when to prioritize, leverage, or ignore specific modality cues. Through extensive experiments and analysis, we show that our alignment tuning yields demonstrably stronger multimodal grounding. This work provides both interpretability tools and a clear path toward developing MLLMs with intrinsically reliable cross-modal reasoning. Code and dataset will be publicly available.