MMSI-Bench: Бенчмарк для оценки пространственного интеллекта на основе множества изображений

MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence

May 29, 2025

Авторы: Sihan Yang, Runsen Xu, Yiman Xie, Sizhe Yang, Mo Li, Jingli Lin, Chenming Zhu, Xiaochen Chen, Haodong Duan, Xiangyu Yue, Dahua Lin, Tai Wang, Jiangmiao Pang

cs.AI

Аннотация

Пространственный интеллект имеет ключевое значение для мультимодальных больших языковых моделей (MLLMs), функционирующих в сложном физическом мире. Однако существующие бенчмарки исследуют только отношения в рамках одного изображения и, таким образом, не способны оценить пространственное рассуждение на основе нескольких изображений, которое требуется в реальных условиях. Мы представляем MMSI-Bench — бенчмарк для вопросно-ответных задач, посвящённый пространственному интеллекту на основе нескольких изображений. Шесть исследователей в области 3D-зрения потратили более 300 часов на тщательную разработку 1 000 сложных и однозначных вопросов с множественным выбором, созданных из более чем 120 000 изображений, каждое из которых сопровождается тщательно продуманными дистракторами и пошаговым процессом рассуждения. Мы провели обширные эксперименты и всесторонне оценили 34 открытые и проприетарные MLLMs, обнаружив значительный разрыв: самая сильная открытая модель достигает точности около 30%, а модель o3 reasoning от OpenAI — 40%, в то время как люди показывают результат в 97%. Эти результаты подчеркивают сложность MMSI-Bench и значительный потенциал для будущих исследований. Используя аннотированные процессы рассуждения, мы также предоставляем автоматизированный конвейер анализа ошибок, который диагностирует четыре основные причины неудач, включая (1) ошибки привязки, (2) ошибки сопоставления перекрытий и реконструкции сцен, (3) ошибки рассуждения при трансформации ситуаций и (4) ошибки пространственной логики, что предлагает ценные инсайты для развития пространственного интеллекта на основе нескольких изображений. Страница проекта: https://runsenxu.com/projects/MMSI_Bench.

English

Spatial intelligence is essential for multimodal large language models (MLLMs) operating in the complex physical world. Existing benchmarks, however, probe only single-image relations and thus fail to assess the multi-image spatial reasoning that real-world deployments demand. We introduce MMSI-Bench, a VQA benchmark dedicated to multi-image spatial intelligence. Six 3D-vision researchers spent more than 300 hours meticulously crafting 1,000 challenging, unambiguous multiple-choice questions from over 120,000 images, each paired with carefully designed distractors and a step-by-step reasoning process. We conduct extensive experiments and thoroughly evaluate 34 open-source and proprietary MLLMs, observing a wide gap: the strongest open-source model attains roughly 30% accuracy and OpenAI's o3 reasoning model reaches 40%, while humans score 97%. These results underscore the challenging nature of MMSI-Bench and the substantial headroom for future research. Leveraging the annotated reasoning processes, we also provide an automated error analysis pipeline that diagnoses four dominant failure modes, including (1) grounding errors, (2) overlap-matching and scene-reconstruction errors, (3) situation-transformation reasoning errors, and (4) spatial-logic errors, offering valuable insights for advancing multi-image spatial intelligence. Project page: https://runsenxu.com/projects/MMSI_Bench .