멀티모달 불일치 추론(MMIR): 멀티모달 추론 모델을 위한 새로운 벤치마크

Multimodal Inconsistency Reasoning (MMIR): A New Benchmark for Multimodal Reasoning Models

February 22, 2025

저자: Qianqi Yan, Yue Fan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

초록

기존의 멀티모달 대형 언어 모델(MLLM)은 주로 일관된 시각-텍스트 입력에 대해 학습 및 테스트되어 왔으며, 실제 세계의 레이아웃이 풍부한 콘텐츠에서 발생하는 불일치를 처리할 수 있는지에 대한 의문이 남아 있습니다. 이러한 격차를 해소하기 위해, 우리는 웹페이지, 프레젠테이션 슬라이드, 포스터 등의 아티팩트에서 의미론적 불일치를 탐지하고 추론하는 MLLM의 능력을 평가하기 위한 멀티모달 불일치 추론(MMIR) 벤치마크를 제안합니다. MMIR은 사실적 모순, 정체성 오인, 문맥적 불일치, 수치적 차이, 시간/공간적 비일관성 등 다섯 가지 추론이 중요한 범주에 걸쳐 합성적으로 주입된 오류를 포함한 534개의 도전적인 샘플로 구성됩니다. 우리는 여섯 가지 최신 MLLM을 평가하여, o1과 같이 전용 멀티모달 추론 기능을 갖춘 모델이 다른 모델들을 크게 능가하는 반면, 오픈소스 모델들은 특히 불일치 오류에 취약함을 보여줍니다. 상세한 오류 분석은 모델들이 단일 모달리티, 특히 텍스트 내에서의 불일치 탐지에는 뛰어나지만, 교차 모달리티 충돌과 복잡한 레이아웃에서는 어려움을 겪는 것을 추가로 보여줍니다. 탐색 실험은 사고의 연쇄(CoT) 및 표시의 집합(SoM) 방법을 포함한 단일 모달리티 프롬프팅이 미미한 개선만을 가져오며, 교차 모달리티 추론의 주요 병목 현상을 드러냅니다. 우리의 연구 결과는 고급 멀티모달 추론의 필요성을 강조하며, 멀티모달 불일치에 대한 미래 연구 방향을 제시합니다.

English

Existing Multimodal Large Language Models (MLLMs) are predominantly trained and tested on consistent visual-textual inputs, leaving open the question of whether they can handle inconsistencies in real-world, layout-rich content. To bridge this gap, we propose the Multimodal Inconsistency Reasoning (MMIR) benchmark to assess MLLMs' ability to detect and reason about semantic mismatches in artifacts such as webpages, presentation slides, and posters. MMIR comprises 534 challenging samples, each containing synthetically injected errors across five reasoning-heavy categories: Factual Contradiction, Identity Misattribution, Contextual Mismatch, Quantitative Discrepancy, and Temporal/Spatial Incoherence. We evaluate six state-of-the-art MLLMs, showing that models with dedicated multimodal reasoning capabilities, such as o1, substantially outperform their counterparts while open-source models remain particularly vulnerable to inconsistency errors. Detailed error analyses further show that models excel in detecting inconsistencies confined to a single modality, particularly in text, but struggle with cross-modal conflicts and complex layouts. Probing experiments reveal that single-modality prompting, including Chain-of-Thought (CoT) and Set-of-Mark (SoM) methods, yields marginal gains, revealing a key bottleneck in cross-modal reasoning. Our findings highlight the need for advanced multimodal reasoning and point to future research on multimodal inconsistency.