MMSI-Bench: Un Benchmark per l'Intelligenza Spaziale su Immagini Multiple

MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence

May 29, 2025

Autori: Sihan Yang, Runsen Xu, Yiman Xie, Sizhe Yang, Mo Li, Jingli Lin, Chenming Zhu, Xiaochen Chen, Haodong Duan, Xiangyu Yue, Dahua Lin, Tai Wang, Jiangmiao Pang

cs.AI

Abstract

L'intelligenza spaziale è essenziale per i modelli linguistici multimodali di grandi dimensioni (MLLMs) che operano nel complesso mondo fisico. Tuttavia, i benchmark esistenti analizzano solo le relazioni su singole immagini, fallendo così nel valutare il ragionamento spaziale su più immagini richiesto dalle applicazioni nel mondo reale. Introduciamo MMSI-Bench, un benchmark di VQA dedicato all'intelligenza spaziale su più immagini. Sei ricercatori di visione 3D hanno trascorso oltre 300 ore per creare meticolosamente 1.000 domande a scelta multipla complesse e inequivocabili, tratte da oltre 120.000 immagini, ciascuna associata a distrattori progettati con cura e a un processo di ragionamento passo-passo. Abbiamo condotto esperimenti estesi e valutato approfonditamente 34 MLLM open-source e proprietari, osservando un ampio divario: il modello open-source più performante raggiunge circa il 30% di accuratezza, mentre il modello di ragionamento o3 di OpenAI arriva al 40%, contro il 97% degli esseri umani. Questi risultati evidenziano la natura impegnativa di MMSI-Bench e il notevole margine di miglioramento per la ricerca futura. Sfruttando i processi di ragionamento annotati, forniamo anche una pipeline automatizzata per l'analisi degli errori che diagnostica quattro modalità di fallimento dominanti, tra cui (1) errori di grounding, (2) errori di corrispondenza delle sovrapposizioni e ricostruzione della scena, (3) errori di ragionamento nella trasformazione della situazione e (4) errori di logica spaziale, offrendo spunti preziosi per far progredire l'intelligenza spaziale su più immagini. Pagina del progetto: https://runsenxu.com/projects/MMSI_Bench.

English

Spatial intelligence is essential for multimodal large language models (MLLMs) operating in the complex physical world. Existing benchmarks, however, probe only single-image relations and thus fail to assess the multi-image spatial reasoning that real-world deployments demand. We introduce MMSI-Bench, a VQA benchmark dedicated to multi-image spatial intelligence. Six 3D-vision researchers spent more than 300 hours meticulously crafting 1,000 challenging, unambiguous multiple-choice questions from over 120,000 images, each paired with carefully designed distractors and a step-by-step reasoning process. We conduct extensive experiments and thoroughly evaluate 34 open-source and proprietary MLLMs, observing a wide gap: the strongest open-source model attains roughly 30% accuracy and OpenAI's o3 reasoning model reaches 40%, while humans score 97%. These results underscore the challenging nature of MMSI-Bench and the substantial headroom for future research. Leveraging the annotated reasoning processes, we also provide an automated error analysis pipeline that diagnoses four dominant failure modes, including (1) grounding errors, (2) overlap-matching and scene-reconstruction errors, (3) situation-transformation reasoning errors, and (4) spatial-logic errors, offering valuable insights for advancing multi-image spatial intelligence. Project page: https://runsenxu.com/projects/MMSI_Bench .