Multimodale Inkonsistenzbegründung (MMIR): Ein neuer Maßstab für multimodale Begründungsmodelle

Multimodal Inconsistency Reasoning (MMIR): A New Benchmark for Multimodal Reasoning Models

February 22, 2025

Autoren: Qianqi Yan, Yue Fan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

Zusammenfassung

Bestehende Multimodale Large Language Models (MLLMs) werden hauptsächlich auf konsistenten visuell-textuellen Eingaben trainiert und getestet, was die Frage offen lässt, ob sie Inkonsistenzen in layoutreichen Inhalten der realen Welt bewältigen können. Um diese Lücke zu schließen, schlagen wir das Multimodal Inconsistency Reasoning (MMIR) Benchmark vor, um die Fähigkeit von MLLMs zu bewerten, semantische Unstimmigkeiten in Artefakten wie Webseiten, Präsentationsfolien und Postern zu erkennen und darüber zu argumentieren. MMIR umfasst 534 anspruchsvolle Beispiele, die jeweils synthetisch eingefügte Fehler in fünf schwerwiegenden Kategorien enthalten: Faktische Widersprüche, Identitätsfehlzuweisung, Kontextuelle Unstimmigkeit, Quantitative Diskrepanz und Zeitliche/Räumliche Inkohärenz. Wir evaluieren sechs hochmoderne MLLMs und zeigen, dass Modelle mit dedizierten multimodalen Argumentationsfähigkeiten, wie o1, ihre Gegenstücke deutlich übertreffen, während Open-Source-Modelle besonders anfällig für Inkonsistenzfehler sind. Detaillierte Fehleranalysen zeigen weiterhin, dass Modelle darin gut sind, Inkonsistenzen zu erkennen, die auf eine einzelne Modalität beschränkt sind, insbesondere im Text, aber Schwierigkeiten mit kreuzmodalen Konflikten und komplexen Layouts haben. Untersuchungen zeigen, dass Ein-Modalitäts-Prompting, einschließlich Chain-of-Thought (CoT) und Set-of-Mark (SoM) Methoden, marginale Gewinne bringt und einen zentralen Engpass im kreuzmodalen Argumentieren aufzeigt. Unsere Ergebnisse unterstreichen die Notwendigkeit fortschrittlicher multimodaler Argumentation und weisen auf zukünftige Forschung im Bereich multimodaler Inkonsistenz hin.

English

Existing Multimodal Large Language Models (MLLMs) are predominantly trained and tested on consistent visual-textual inputs, leaving open the question of whether they can handle inconsistencies in real-world, layout-rich content. To bridge this gap, we propose the Multimodal Inconsistency Reasoning (MMIR) benchmark to assess MLLMs' ability to detect and reason about semantic mismatches in artifacts such as webpages, presentation slides, and posters. MMIR comprises 534 challenging samples, each containing synthetically injected errors across five reasoning-heavy categories: Factual Contradiction, Identity Misattribution, Contextual Mismatch, Quantitative Discrepancy, and Temporal/Spatial Incoherence. We evaluate six state-of-the-art MLLMs, showing that models with dedicated multimodal reasoning capabilities, such as o1, substantially outperform their counterparts while open-source models remain particularly vulnerable to inconsistency errors. Detailed error analyses further show that models excel in detecting inconsistencies confined to a single modality, particularly in text, but struggle with cross-modal conflicts and complex layouts. Probing experiments reveal that single-modality prompting, including Chain-of-Thought (CoT) and Set-of-Mark (SoM) methods, yields marginal gains, revealing a key bottleneck in cross-modal reasoning. Our findings highlight the need for advanced multimodal reasoning and point to future research on multimodal inconsistency.