Algumas Modalidades São Mais Iguais que Outras: Decodificando e Projetando a Integração Multimodal em MLLMs

Some Modalities are More Equal Than Others: Decoding and Architecting Multimodal Integration in MLLMs

November 28, 2025

Autores: Tianle Chen, Chaitanya Chakka, Arjun Reddy Akula, Xavier Thomas, Deepti Ghadiyaram

cs.AI

Resumo

Apesar dos avanços notáveis nos Modelos de Linguagem Multimodais de Grande Escala (MLLMs), uma questão fundamental permanece: os MLLMs são robustos a modalidades contraditórias? Para estudar isso rigorosamente, introduzimos o MMA-Bench, composto por vídeos e tarefas que investigam a dependência de um modelo em modalidades específicas. Utilizando técnicas de interpretabilidade de caixa-preta e caixa-branca, fornecemos uma análise crítica da fragilidade de MLLMs tanto de código aberto quanto proprietários. Mostramos que os MLLMs atuais têm dificuldades com pares audiovisuais desalinhados e textos simples enganosos, carecendo, portanto, de um raciocínio multimodal robusto. Com base nessas descobertas, propomos uma estratégia de ajuste de alinhamento modal para ensinar o modelo quando priorizar, aproveitar ou ignorar pistas de modalidades específicas. Por meio de extensos experimentos e análises, demonstramos que nosso ajuste de alinhamento produz uma fundamentação multimodal visivelmente mais forte. Este trabalho fornece tanto ferramentas de interpretabilidade quanto um caminho claro para desenvolver MLLMs com raciocínio cross-modal intrinsecamente confiável. O código e o conjunto de dados estarão publicamente disponíveis.

English

Despite remarkable advancements in Multimodal Large Language Models (MLLMs), a fundamental question remains: are MLLMs robust to contradicting modalities? To rigorously study this, we introduce MMA-Bench comprising videos and tasks that probe a model's reliance on specific modalities. Using black-box and white-box interpretability techniques, we provide a critical analysis of the brittleness of both open- and closed-sourced MLLMs. We show that current MLLMs struggle under misaligned audio-visual pairs and simple misleading text, thereby lacking robust multi-modal reasoning. Building on these findings, we propose a modality alignment tuning strategy to teach the model when to prioritize, leverage, or ignore specific modality cues. Through extensive experiments and analysis, we show that our alignment tuning yields demonstrably stronger multimodal grounding. This work provides both interpretability tools and a clear path toward developing MLLMs with intrinsically reliable cross-modal reasoning. Code and dataset will be publicly available.