Ragionamento sull'Incoerenza Multimodale (MMIR): Un Nuovo Benchmark per Modelli di Ragionamento Multimodale

Multimodal Inconsistency Reasoning (MMIR): A New Benchmark for Multimodal Reasoning Models

February 22, 2025

Autori: Qianqi Yan, Yue Fan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLM) esistenti sono prevalentemente addestrati e testati su input visivo-testuali coerenti, lasciando aperta la questione se siano in grado di gestire incoerenze in contenuti reali ricchi di layout. Per colmare questa lacuna, proponiamo il benchmark Multimodal Inconsistency Reasoning (MMIR) per valutare la capacità degli MLLM di rilevare e ragionare su disallineamenti semantici in artefatti come pagine web, slide di presentazione e poster. MMIR comprende 534 campioni complessi, ciascuno contenente errori iniettati sinteticamente in cinque categorie ad alto contenuto di ragionamento: Contraddizione Fattuale, Attribuzione Errata di Identità, Disallineamento Contestuale, Discrepanza Quantitativa e Incoerenza Temporale/Spaziale. Valutiamo sei MLLM all'avanguardia, dimostrando che modelli con capacità di ragionamento multimodale dedicate, come o1, superano significativamente i loro omologhi, mentre i modelli open source rimangono particolarmente vulnerabili agli errori di incoerenza. Analisi dettagliate degli errori mostrano inoltre che i modelli eccellono nel rilevare incoerenze confinate a una singola modalità, in particolare nel testo, ma faticano con conflitti cross-modali e layout complessi. Esperimenti di probing rivelano che il prompting a singola modalità, inclusi i metodi Chain-of-Thought (CoT) e Set-of-Mark (SoM), produce guadagni marginali, evidenziando un collo di bottiglia chiave nel ragionamento cross-modale. I nostri risultati sottolineano la necessità di un ragionamento multimodale avanzato e indicano future ricerche sull'incoerenza multimodale.

English

Existing Multimodal Large Language Models (MLLMs) are predominantly trained and tested on consistent visual-textual inputs, leaving open the question of whether they can handle inconsistencies in real-world, layout-rich content. To bridge this gap, we propose the Multimodal Inconsistency Reasoning (MMIR) benchmark to assess MLLMs' ability to detect and reason about semantic mismatches in artifacts such as webpages, presentation slides, and posters. MMIR comprises 534 challenging samples, each containing synthetically injected errors across five reasoning-heavy categories: Factual Contradiction, Identity Misattribution, Contextual Mismatch, Quantitative Discrepancy, and Temporal/Spatial Incoherence. We evaluate six state-of-the-art MLLMs, showing that models with dedicated multimodal reasoning capabilities, such as o1, substantially outperform their counterparts while open-source models remain particularly vulnerable to inconsistency errors. Detailed error analyses further show that models excel in detecting inconsistencies confined to a single modality, particularly in text, but struggle with cross-modal conflicts and complex layouts. Probing experiments reveal that single-modality prompting, including Chain-of-Thought (CoT) and Set-of-Mark (SoM) methods, yields marginal gains, revealing a key bottleneck in cross-modal reasoning. Our findings highlight the need for advanced multimodal reasoning and point to future research on multimodal inconsistency.