Alcune Modalità Sono Più Uguali di Altre: Decodificare e Progettare l'Integrazione Multimodale nei Modelli Linguistici Multimodali

Some Modalities are More Equal Than Others: Decoding and Architecting Multimodal Integration in MLLMs

November 28, 2025

Autori: Tianle Chen, Chaitanya Chakka, Arjun Reddy Akula, Xavier Thomas, Deepti Ghadiyaram

cs.AI

Abstract

Nonostante i notevoli progressi nei Modelli Linguistici Multimodali di Grande Dimensione (MLLM), una domanda fondamentale rimane: gli MLLM sono robusti rispetto a modalità contraddittorie? Per studiarlo rigorosamente, introduciamo MMA-Bench, comprendente video e task che analizzano la dipendenza di un modello da specifiche modalità. Utilizzando tecniche di interpretabilità di tipo black-box e white-box, forniamo un'analisi critica della fragilità sia degli MLLM open-source che closed-source. Dimostriamo che gli MLLM attuali faticano a gestire coppie audio-visive disallineate e semplici testi fuorvianti, mancando quindi di un ragionamento multimodale robusto. Basandoci su questi risultati, proponiamo una strategia di modality alignment tuning per insegnare al modello quando privilegiare, sfruttare o ignorare specifici segnali modali. Attraverso esperimenti estesi e analisi, mostriamo che il nostro allineamento produce un ancoraggio multimodale dimostrabilmente più solido. Questo lavoro fornisce sia strumenti di interpretabilità che un percorso chiaro verso lo sviluppo di MLLM con ragionamento cross-modale intrinsecamente affidabile. Il codice e il dataset saranno resi pubblicamente disponibili.

English

Despite remarkable advancements in Multimodal Large Language Models (MLLMs), a fundamental question remains: are MLLMs robust to contradicting modalities? To rigorously study this, we introduce MMA-Bench comprising videos and tasks that probe a model's reliance on specific modalities. Using black-box and white-box interpretability techniques, we provide a critical analysis of the brittleness of both open- and closed-sourced MLLMs. We show that current MLLMs struggle under misaligned audio-visual pairs and simple misleading text, thereby lacking robust multi-modal reasoning. Building on these findings, we propose a modality alignment tuning strategy to teach the model when to prioritize, leverage, or ignore specific modality cues. Through extensive experiments and analysis, we show that our alignment tuning yields demonstrably stronger multimodal grounding. This work provides both interpretability tools and a clear path toward developing MLLMs with intrinsically reliable cross-modal reasoning. Code and dataset will be publicly available.