MMSI-Bench : Un Benchmark pour l'Intelligence Spatiale Multi-Image

MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence

May 29, 2025

Auteurs: Sihan Yang, Runsen Xu, Yiman Xie, Sizhe Yang, Mo Li, Jingli Lin, Chenming Zhu, Xiaochen Chen, Haodong Duan, Xiangyu Yue, Dahua Lin, Tai Wang, Jiangmiao Pang

cs.AI

Résumé

L'intelligence spatiale est essentielle pour les modèles de langage multimodal de grande envergure (MLLMs) opérant dans le monde physique complexe. Cependant, les benchmarks existants ne sondent que les relations sur une seule image et échouent ainsi à évaluer le raisonnement spatial multi-image que nécessitent les déploiements dans le monde réel. Nous présentons MMSI-Bench, un benchmark de question-réponse visuelle (VQA) dédié à l'intelligence spatiale multi-image. Six chercheurs en vision 3D ont passé plus de 300 heures à élaborer méticuleusement 1 000 questions à choix multiples complexes et sans ambiguïté à partir de plus de 120 000 images, chacune étant associée à des distracteurs soigneusement conçus et à un processus de raisonnement étape par étape. Nous menons des expériences approfondies et évaluons minutieusement 34 MLLMs open-source et propriétaires, observant un écart important : le modèle open-source le plus performant atteint environ 30 % de précision, tandis que le modèle de raisonnement o3 d'OpenAI atteint 40 %, contre 97 % pour les humains. Ces résultats soulignent la nature exigeante de MMSI-Bench et le potentiel considérable pour les recherches futures. En exploitant les processus de raisonnement annotés, nous proposons également un pipeline automatisé d'analyse des erreurs qui diagnostique quatre modes d'échec dominants, incluant (1) les erreurs de fondation, (2) les erreurs de correspondance de chevauchement et de reconstruction de scène, (3) les erreurs de raisonnement de transformation de situation, et (4) les erreurs de logique spatiale, offrant ainsi des perspectives précieuses pour faire progresser l'intelligence spatiale multi-image. Page du projet : https://runsenxu.com/projects/MMSI_Bench .

English

Spatial intelligence is essential for multimodal large language models (MLLMs) operating in the complex physical world. Existing benchmarks, however, probe only single-image relations and thus fail to assess the multi-image spatial reasoning that real-world deployments demand. We introduce MMSI-Bench, a VQA benchmark dedicated to multi-image spatial intelligence. Six 3D-vision researchers spent more than 300 hours meticulously crafting 1,000 challenging, unambiguous multiple-choice questions from over 120,000 images, each paired with carefully designed distractors and a step-by-step reasoning process. We conduct extensive experiments and thoroughly evaluate 34 open-source and proprietary MLLMs, observing a wide gap: the strongest open-source model attains roughly 30% accuracy and OpenAI's o3 reasoning model reaches 40%, while humans score 97%. These results underscore the challenging nature of MMSI-Bench and the substantial headroom for future research. Leveraging the annotated reasoning processes, we also provide an automated error analysis pipeline that diagnoses four dominant failure modes, including (1) grounding errors, (2) overlap-matching and scene-reconstruction errors, (3) situation-transformation reasoning errors, and (4) spatial-logic errors, offering valuable insights for advancing multi-image spatial intelligence. Project page: https://runsenxu.com/projects/MMSI_Bench .