MMSI-Bench: Ein Benchmark für räumliche Intelligenz mit mehreren Bildern

MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence

May 29, 2025

Autoren: Sihan Yang, Runsen Xu, Yiman Xie, Sizhe Yang, Mo Li, Jingli Lin, Chenming Zhu, Xiaochen Chen, Haodong Duan, Xiangyu Yue, Dahua Lin, Tai Wang, Jiangmiao Pang

cs.AI

Zusammenfassung

Räumliche Intelligenz ist entscheidend für multimodale große Sprachmodelle (MLLMs), die in der komplexen physischen Welt operieren. Bestehende Benchmarks untersuchen jedoch nur Beziehungen innerhalb einzelner Bilder und versagen somit darin, die multi-bildliche räumliche Argumentation zu bewerten, die reale Anwendungen erfordern. Wir stellen MMSI-Bench vor, einen VQA-Benchmark, der sich der multi-bildlichen räumlichen Intelligenz widmet. Sechs 3D-Vision-Forscher verbrachten mehr als 300 Stunden damit, 1.000 herausfordernde, eindeutige Multiple-Choice-Fragen aus über 120.000 Bildern sorgfältig zu erstellen, die jeweils mit sorgfältig gestalteten Ablenkern und einem schrittweisen Argumentationsprozess versehen sind. Wir führen umfangreiche Experimente durch und evaluieren gründlich 34 Open-Source- und proprietäre MLLMs, wobei wir eine große Kluft feststellen: Das stärkste Open-Source-Modell erreicht etwa 30 % Genauigkeit und OpenAIs o3-Reasoning-Modell erreicht 40 %, während Menschen 97 % erreichen. Diese Ergebnisse unterstreichen die anspruchsvolle Natur von MMSI-Bench und das erhebliche Potenzial für zukünftige Forschung. Durch die Nutzung der annotierten Argumentationsprozesse bieten wir auch eine automatisierte Fehleranalyse-Pipeline, die vier dominante Fehlermodi diagnostiziert, darunter (1) Verankerungsfehler, (2) Überlappungsabgleich- und Szenenrekonstruktionsfehler, (3) Situationsumwandlungsargumentationsfehler und (4) räumlich-logische Fehler, und wertvolle Einblicke für die Weiterentwicklung der multi-bildlichen räumlichen Intelligenz bietet. Projektseite: https://runsenxu.com/projects/MMSI_Bench.

English

Spatial intelligence is essential for multimodal large language models (MLLMs) operating in the complex physical world. Existing benchmarks, however, probe only single-image relations and thus fail to assess the multi-image spatial reasoning that real-world deployments demand. We introduce MMSI-Bench, a VQA benchmark dedicated to multi-image spatial intelligence. Six 3D-vision researchers spent more than 300 hours meticulously crafting 1,000 challenging, unambiguous multiple-choice questions from over 120,000 images, each paired with carefully designed distractors and a step-by-step reasoning process. We conduct extensive experiments and thoroughly evaluate 34 open-source and proprietary MLLMs, observing a wide gap: the strongest open-source model attains roughly 30% accuracy and OpenAI's o3 reasoning model reaches 40%, while humans score 97%. These results underscore the challenging nature of MMSI-Bench and the substantial headroom for future research. Leveraging the annotated reasoning processes, we also provide an automated error analysis pipeline that diagnoses four dominant failure modes, including (1) grounding errors, (2) overlap-matching and scene-reconstruction errors, (3) situation-transformation reasoning errors, and (4) spatial-logic errors, offering valuable insights for advancing multi-image spatial intelligence. Project page: https://runsenxu.com/projects/MMSI_Bench .