Razonamiento de Inconsistencia Multimodal (MMIR): Un Nuevo Benchmark para Modelos de Razonamiento Multimodal

Multimodal Inconsistency Reasoning (MMIR): A New Benchmark for Multimodal Reasoning Models

February 22, 2025

Autores: Qianqi Yan, Yue Fan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

Resumen

Los modelos de lenguaje multimodal de gran escala (MLLMs) existentes se entrenan y evalúan predominantemente con entradas visual-textuales consistentes, dejando abierta la cuestión de si pueden manejar inconsistencias en contenido del mundo real con diseños complejos. Para abordar esta brecha, proponemos el benchmark de Razonamiento de Inconsistencias Multimodales (MMIR) para evaluar la capacidad de los MLLMs de detectar y razonar sobre desajustes semánticos en artefactos como páginas web, diapositivas de presentación y carteles. MMIR consta de 534 muestras desafiantes, cada una con errores inyectados sintéticamente en cinco categorías que requieren un razonamiento profundo: Contradicción Factual, Atribución Incorrecta de Identidad, Desajuste Contextual, Discrepancia Cuantitativa e Incoherencia Temporal/Espacial. Evaluamos seis MLLMs de vanguardia, demostrando que modelos con capacidades dedicadas de razonamiento multimodal, como o1, superan sustancialmente a sus contrapartes, mientras que los modelos de código abierto siguen siendo particularmente vulnerables a errores de inconsistencia. Análisis detallados de errores muestran además que los modelos sobresalen en detectar inconsistencias confinadas a una sola modalidad, particularmente en texto, pero luchan con conflictos intermodales y diseños complejos. Experimentos de sondeo revelan que el uso de indicaciones de una sola modalidad, incluyendo métodos como Cadena de Pensamiento (CoT) y Conjunto de Marcas (SoM), ofrece mejoras marginales, revelando un cuello de botella clave en el razonamiento intermodal. Nuestros hallazgos destacan la necesidad de avanzar en el razonamiento multimodal y apuntan a futuras investigaciones sobre inconsistencias multimodales.

English

Existing Multimodal Large Language Models (MLLMs) are predominantly trained and tested on consistent visual-textual inputs, leaving open the question of whether they can handle inconsistencies in real-world, layout-rich content. To bridge this gap, we propose the Multimodal Inconsistency Reasoning (MMIR) benchmark to assess MLLMs' ability to detect and reason about semantic mismatches in artifacts such as webpages, presentation slides, and posters. MMIR comprises 534 challenging samples, each containing synthetically injected errors across five reasoning-heavy categories: Factual Contradiction, Identity Misattribution, Contextual Mismatch, Quantitative Discrepancy, and Temporal/Spatial Incoherence. We evaluate six state-of-the-art MLLMs, showing that models with dedicated multimodal reasoning capabilities, such as o1, substantially outperform their counterparts while open-source models remain particularly vulnerable to inconsistency errors. Detailed error analyses further show that models excel in detecting inconsistencies confined to a single modality, particularly in text, but struggle with cross-modal conflicts and complex layouts. Probing experiments reveal that single-modality prompting, including Chain-of-Thought (CoT) and Set-of-Mark (SoM) methods, yields marginal gains, revealing a key bottleneck in cross-modal reasoning. Our findings highlight the need for advanced multimodal reasoning and point to future research on multimodal inconsistency.