マルチモーダル不整合推論（MMIR）：マルチモーダル推論モデルのための新たなベンチマーク

Multimodal Inconsistency Reasoning (MMIR): A New Benchmark for Multimodal Reasoning Models

February 22, 2025

著者: Qianqi Yan, Yue Fan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

要旨

既存のマルチモーダル大規模言語モデル（MLLMs）は、主に一貫した視覚-テキスト入力を基に訓練・評価されており、現実世界のレイアウトが複雑なコンテンツにおける不整合に対処できるかどうかは未解決の問題として残されている。このギャップを埋めるため、我々はマルチモーダル不整合推論（MMIR）ベンチマークを提案し、ウェブページ、プレゼンテーションスライド、ポスターなどのアーティファクトにおける意味的な不一致を検出し、推論するMLLMsの能力を評価する。MMIRは534の挑戦的なサンプルで構成され、それぞれが5つの推論が重要なカテゴリ（事実矛盾、同一性誤認、文脈不一致、量的不一致、時間/空間的不整合）にわたって人工的に注入されたエラーを含む。我々は6つの最先端MLLMsを評価し、o1のような専用のマルチモーダル推論能力を持つモデルが他のモデルを大幅に上回る一方、オープンソースモデルは特に不整合エラーに対して脆弱であることを示した。詳細なエラー分析により、モデルが単一モダリティ（特にテキスト）に限定された不整合の検出には優れているが、クロスモーダルの衝突や複雑なレイアウトには苦戦することが明らかになった。プロービング実験では、Chain-of-Thought（CoT）やSet-of-Mark（SoM）などの単一モダリティプロンプティングが限定的な改善しかもたらさず、クロスモーダル推論における重要なボトルネックが浮き彫りになった。我々の知見は、高度なマルチモーダル推論の必要性を強調し、マルチモーダル不整合に関する今後の研究の方向性を示唆している。

English

Existing Multimodal Large Language Models (MLLMs) are predominantly trained and tested on consistent visual-textual inputs, leaving open the question of whether they can handle inconsistencies in real-world, layout-rich content. To bridge this gap, we propose the Multimodal Inconsistency Reasoning (MMIR) benchmark to assess MLLMs' ability to detect and reason about semantic mismatches in artifacts such as webpages, presentation slides, and posters. MMIR comprises 534 challenging samples, each containing synthetically injected errors across five reasoning-heavy categories: Factual Contradiction, Identity Misattribution, Contextual Mismatch, Quantitative Discrepancy, and Temporal/Spatial Incoherence. We evaluate six state-of-the-art MLLMs, showing that models with dedicated multimodal reasoning capabilities, such as o1, substantially outperform their counterparts while open-source models remain particularly vulnerable to inconsistency errors. Detailed error analyses further show that models excel in detecting inconsistencies confined to a single modality, particularly in text, but struggle with cross-modal conflicts and complex layouts. Probing experiments reveal that single-modality prompting, including Chain-of-Thought (CoT) and Set-of-Mark (SoM) methods, yields marginal gains, revealing a key bottleneck in cross-modal reasoning. Our findings highlight the need for advanced multimodal reasoning and point to future research on multimodal inconsistency.