MMSI-Bench: Um Benchmark para Inteligência Espacial em Múltiplas Imagens

MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence

May 29, 2025

Autores: Sihan Yang, Runsen Xu, Yiman Xie, Sizhe Yang, Mo Li, Jingli Lin, Chenming Zhu, Xiaochen Chen, Haodong Duan, Xiangyu Yue, Dahua Lin, Tai Wang, Jiangmiao Pang

cs.AI

Resumo

A inteligência espacial é essencial para modelos de linguagem multimodal de grande escala (MLLMs) que operam no mundo físico complexo. No entanto, os benchmarks existentes avaliam apenas relações em imagens únicas, falhando em testar o raciocínio espacial multi-imagem exigido por aplicações do mundo real. Apresentamos o MMSI-Bench, um benchmark de VQA (Visual Question Answering) dedicado à inteligência espacial multi-imagem. Seis pesquisadores em visão 3D dedicaram mais de 300 horas para criar meticulosamente 1.000 perguntas desafiadoras e inequívocas de múltipla escolha, a partir de mais de 120.000 imagens, cada uma acompanhada de distratores cuidadosamente projetados e um processo de raciocínio passo a passo. Realizamos experimentos extensivos e avaliamos minuciosamente 34 MLLMs de código aberto e proprietários, observando uma grande lacuna: o modelo de código aberto mais forte atinge aproximadamente 30% de precisão, enquanto o modelo de raciocínio o3 da OpenAI alcança 40%, em contraste com a pontuação humana de 97%. Esses resultados destacam a natureza desafiadora do MMSI-Bench e o amplo espaço para pesquisas futuras. Aproveitando os processos de raciocínio anotados, também fornecemos um pipeline automatizado de análise de erros que diagnostica quatro modos de falha predominantes, incluindo (1) erros de fundamentação, (2) erros de correspondência de sobreposição e reconstrução de cena, (3) erros de raciocínio em transformação de situação e (4) erros de lógica espacial, oferecendo insights valiosos para o avanço da inteligência espacial multi-imagem. Página do projeto: https://runsenxu.com/projects/MMSI_Bench.

English

Spatial intelligence is essential for multimodal large language models (MLLMs) operating in the complex physical world. Existing benchmarks, however, probe only single-image relations and thus fail to assess the multi-image spatial reasoning that real-world deployments demand. We introduce MMSI-Bench, a VQA benchmark dedicated to multi-image spatial intelligence. Six 3D-vision researchers spent more than 300 hours meticulously crafting 1,000 challenging, unambiguous multiple-choice questions from over 120,000 images, each paired with carefully designed distractors and a step-by-step reasoning process. We conduct extensive experiments and thoroughly evaluate 34 open-source and proprietary MLLMs, observing a wide gap: the strongest open-source model attains roughly 30% accuracy and OpenAI's o3 reasoning model reaches 40%, while humans score 97%. These results underscore the challenging nature of MMSI-Bench and the substantial headroom for future research. Leveraging the annotated reasoning processes, we also provide an automated error analysis pipeline that diagnoses four dominant failure modes, including (1) grounding errors, (2) overlap-matching and scene-reconstruction errors, (3) situation-transformation reasoning errors, and (4) spatial-logic errors, offering valuable insights for advancing multi-image spatial intelligence. Project page: https://runsenxu.com/projects/MMSI_Bench .