MARBLE: 다중모달 공간 추론 및 계획을 위한 고난이도 벤치마크

MARBLE: A Hard Benchmark for Multimodal Spatial Reasoning and Planning

June 28, 2025

저자: Yulun Jiang, Yekun Chai, Maria Brbić, Michael Moor

cs.AI

초록

다양한 모달리티의 정보를 처리하고 이를 단계별로 추론하는 능력은 인공지능 발전에 있어 여전히 중요한 과제로 남아 있습니다. 그러나 기존의 추론 벤치마크는 텍스트 기반 추론에 초점을 맞추거나, 비텍스트 모달리티에서 직접 정보를 검색하여 답할 수 있는 다중모달 질문을 사용합니다. 따라서 다중모달 영역에서의 복잡한 추론은 여전히 제대로 이해되지 않고 있습니다. 본 연구에서는 다중모달 언어 모델(MLLMs)이 복잡한 다중모달 문제와 환경을 통해 단계별로 신중하게 추론하는 능력을 평가하기 위해 설계된 도전적인 다중모달 추론 벤치마크인 MARBLE을 소개합니다. MARBLE은 공간적, 시각적, 물리적 제약 하에서 다단계 계획을 수립하고 이해해야 하는 두 가지 매우 도전적인 과제인 M-Portal과 M-Cube로 구성됩니다. 현재의 MLLMs는 MARBLE에서 매우 낮은 성능을 보였습니다. 12개의 고급 모델 모두 M-Portal에서 거의 무작위 수준의 성능을 보였고, M-Cube에서는 0%의 정확도를 기록했습니다. 단순화된 하위 과제에서만 일부 모델이 무작위 기준선을 능가했는데, 이는 복잡한 추론이 여전히 기존 MLLMs에게 어려운 과제임을 나타냅니다. 또한, MLLMs가 시각적 입력에서 정보를 추출하는 데 가끔 실패하는 등 인식 능력이 여전히 병목 현상으로 작용함을 보여줍니다. MLLMs의 한계를 조명함으로써, MARBLE이 다수의 다중모달 추론 단계를 통해 추론하고 계획할 수 있는 차세대 모델 개발을 촉진할 수 있기를 바랍니다.

English

The ability to process information from multiple modalities and to reason through it step-by-step remains a critical challenge in advancing artificial intelligence. However, existing reasoning benchmarks focus on text-only reasoning, or employ multimodal questions that can be answered by directly retrieving information from a non-text modality. Thus, complex reasoning remains poorly understood in multimodal domains. Here, we present MARBLE, a challenging multimodal reasoning benchmark that is designed to scrutinize multimodal language models (MLLMs) in their ability to carefully reason step-by-step through complex multimodal problems and environments. MARBLE is composed of two highly challenging tasks, M-Portal and M-Cube, that require the crafting and understanding of multistep plans under spatial, visual, and physical constraints. We find that current MLLMs perform poorly on MARBLE -- all the 12 advanced models obtain near-random performance on M-Portal and 0% accuracy on M-Cube. Only in simplified subtasks some models outperform the random baseline, indicating that complex reasoning is still a challenge for existing MLLMs. Moreover, we show that perception remains a bottleneck, where MLLMs occasionally fail to extract information from the visual inputs. By shedding a light on the limitations of MLLMs, we hope that MARBLE will spur the development of the next generation of models with the ability to reason and plan across many, multimodal reasoning steps.