MMSI-Bench: Een Benchmark voor Ruimtelijke Intelligentie met Meerdere Afbeeldingen

MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence

May 29, 2025

Auteurs: Sihan Yang, Runsen Xu, Yiman Xie, Sizhe Yang, Mo Li, Jingli Lin, Chenming Zhu, Xiaochen Chen, Haodong Duan, Xiangyu Yue, Dahua Lin, Tai Wang, Jiangmiao Pang

cs.AI

Samenvatting

Ruimtelijke intelligentie is essentieel voor multimodale grote taalmodellen (MLLMs) die opereren in de complexe fysieke wereld. Bestaande benchmarks onderzoeken echter alleen relaties binnen één afbeelding en slagen er daardoor niet in om de ruimtelijke redenering over meerdere afbeeldingen te beoordelen die in real-world toepassingen vereist is. Wij introduceren MMSI-Bench, een VQA-benchmark die gewijd is aan ruimtelijke intelligentie over meerdere afbeeldingen. Zes 3D-visieonderzoekers besteedden meer dan 300 uur aan het zorgvuldig samenstellen van 1.000 uitdagende, eenduidige meerkeuzevragen op basis van meer dan 120.000 afbeeldingen, elk gepaard met zorgvuldig ontworpen afleiders en een stapsgewijs redeneerproces. We voeren uitgebreide experimenten uit en evalueren grondig 34 open-source en propriëtaire MLLMs, waarbij we een grote kloof waarnemen: het sterkste open-source model behaalt ongeveer 30% nauwkeurigheid en OpenAI's o3 redeneermodel bereikt 40%, terwijl mensen een score van 97% halen. Deze resultaten onderstrepen de uitdagende aard van MMSI-Bench en de aanzienlijke ruimte voor toekomstig onderzoek. Gebruikmakend van de geannoteerde redeneerprocessen, bieden we ook een geautomatiseerde foutenanalysepipeline die vier dominante faalmodi diagnosticeert, waaronder (1) grondingsfouten, (2) overlap-matching en scene-reconstructiefouten, (3) situatie-transformatie redeneerfouten, en (4) ruimtelijke-logicafouten, wat waardevolle inzichten biedt voor het bevorderen van ruimtelijke intelligentie over meerdere afbeeldingen. Projectpagina: https://runsenxu.com/projects/MMSI_Bench.

English

Spatial intelligence is essential for multimodal large language models (MLLMs) operating in the complex physical world. Existing benchmarks, however, probe only single-image relations and thus fail to assess the multi-image spatial reasoning that real-world deployments demand. We introduce MMSI-Bench, a VQA benchmark dedicated to multi-image spatial intelligence. Six 3D-vision researchers spent more than 300 hours meticulously crafting 1,000 challenging, unambiguous multiple-choice questions from over 120,000 images, each paired with carefully designed distractors and a step-by-step reasoning process. We conduct extensive experiments and thoroughly evaluate 34 open-source and proprietary MLLMs, observing a wide gap: the strongest open-source model attains roughly 30% accuracy and OpenAI's o3 reasoning model reaches 40%, while humans score 97%. These results underscore the challenging nature of MMSI-Bench and the substantial headroom for future research. Leveraging the annotated reasoning processes, we also provide an automated error analysis pipeline that diagnoses four dominant failure modes, including (1) grounding errors, (2) overlap-matching and scene-reconstruction errors, (3) situation-transformation reasoning errors, and (4) spatial-logic errors, offering valuable insights for advancing multi-image spatial intelligence. Project page: https://runsenxu.com/projects/MMSI_Bench .