MMSI-Bench: Un punto de referencia para la inteligencia espacial multi-imagen

MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence

May 29, 2025

Autores: Sihan Yang, Runsen Xu, Yiman Xie, Sizhe Yang, Mo Li, Jingli Lin, Chenming Zhu, Xiaochen Chen, Haodong Duan, Xiangyu Yue, Dahua Lin, Tai Wang, Jiangmiao Pang

cs.AI

Resumen

La inteligencia espacial es esencial para los modelos de lenguaje multimodal de gran escala (MLLMs) que operan en el complejo mundo físico. Sin embargo, los puntos de referencia existentes solo evalúan relaciones de una sola imagen y, por lo tanto, no logran evaluar el razonamiento espacial multi-imagen que exigen los despliegues en el mundo real. Presentamos MMSI-Bench, un punto de referencia de preguntas y respuestas visuales (VQA) dedicado a la inteligencia espacial multi-imagen. Seis investigadores en visión 3D dedicaron más de 300 horas a elaborar meticulosamente 1,000 preguntas desafiantes y no ambiguas de opción múltiple a partir de más de 120,000 imágenes, cada una acompañada de distractores cuidadosamente diseñados y un proceso de razonamiento paso a paso. Realizamos experimentos extensos y evaluamos exhaustivamente 34 MLLMs de código abierto y propietarios, observando una brecha significativa: el modelo de código abierto más fuerte alcanza aproximadamente un 30% de precisión y el modelo de razonamiento o3 de OpenAI llega al 40%, mientras que los humanos obtienen un 97%. Estos resultados subrayan la naturaleza desafiante de MMSI-Bench y el amplio margen de mejora para futuras investigaciones. Aprovechando los procesos de razonamiento anotados, también proporcionamos una canalización automatizada de análisis de errores que diagnostica cuatro modos de fallo dominantes, incluyendo (1) errores de fundamentación, (2) errores de coincidencia de superposición y reconstrucción de escenas, (3) errores de razonamiento en la transformación de situaciones y (4) errores de lógica espacial, ofreciendo valiosas perspectivas para avanzar en la inteligencia espacial multi-imagen. Página del proyecto: https://runsenxu.com/projects/MMSI_Bench.

English

Spatial intelligence is essential for multimodal large language models (MLLMs) operating in the complex physical world. Existing benchmarks, however, probe only single-image relations and thus fail to assess the multi-image spatial reasoning that real-world deployments demand. We introduce MMSI-Bench, a VQA benchmark dedicated to multi-image spatial intelligence. Six 3D-vision researchers spent more than 300 hours meticulously crafting 1,000 challenging, unambiguous multiple-choice questions from over 120,000 images, each paired with carefully designed distractors and a step-by-step reasoning process. We conduct extensive experiments and thoroughly evaluate 34 open-source and proprietary MLLMs, observing a wide gap: the strongest open-source model attains roughly 30% accuracy and OpenAI's o3 reasoning model reaches 40%, while humans score 97%. These results underscore the challenging nature of MMSI-Bench and the substantial headroom for future research. Leveraging the annotated reasoning processes, we also provide an automated error analysis pipeline that diagnoses four dominant failure modes, including (1) grounding errors, (2) overlap-matching and scene-reconstruction errors, (3) situation-transformation reasoning errors, and (4) spatial-logic errors, offering valuable insights for advancing multi-image spatial intelligence. Project page: https://runsenxu.com/projects/MMSI_Bench .