MARBLE: マルチモーダル空間推論と計画のための難易度の高いベンチマーク

MARBLE: A Hard Benchmark for Multimodal Spatial Reasoning and Planning

June 28, 2025

著者: Yulun Jiang, Yekun Chai, Maria Brbić, Michael Moor

cs.AI

要旨

複数のモダリティからの情報を処理し、段階的に推論する能力は、人工知能の進歩において依然として重要な課題である。しかし、既存の推論ベンチマークはテキストのみの推論に焦点を当てているか、非テキストモダリティから直接情報を取得することで回答可能なマルチモーダル質問を採用している。そのため、複雑な推論はマルチモーダル領域において十分に理解されていない。ここでは、MARBLEという、マルチモーダル言語モデル（MLLM）が複雑なマルチモーダル問題や環境を慎重に段階的に推論する能力を精査するために設計された挑戦的なマルチモーダル推論ベンチマークを紹介する。MARBLEは、空間的、視覚的、物理的制約の下で多段階の計画を策定し理解することを要求する、非常に挑戦的な2つのタスク、M-PortalとM-Cubeで構成されている。現在のMLLMはMARBLEにおいて低い性能を示しており、12の先進モデルすべてがM-Portalでほぼランダムな性能を、M-Cubeでは0%の精度を記録している。簡略化されたサブタスクにおいてのみ、いくつかのモデルがランダムベースラインを上回っており、複雑な推論が既存のMLLMにとって依然として課題であることが示されている。さらに、知覚がボトルネックとなっており、MLLMが視覚入力から情報を抽出できない場合があることも明らかにした。MLLMの限界を明らかにすることで、MARBLEが多くのマルチモーダル推論ステップを跨いで推論し計画する能力を持つ次世代モデルの開発を促進することを期待している。

English

The ability to process information from multiple modalities and to reason through it step-by-step remains a critical challenge in advancing artificial intelligence. However, existing reasoning benchmarks focus on text-only reasoning, or employ multimodal questions that can be answered by directly retrieving information from a non-text modality. Thus, complex reasoning remains poorly understood in multimodal domains. Here, we present MARBLE, a challenging multimodal reasoning benchmark that is designed to scrutinize multimodal language models (MLLMs) in their ability to carefully reason step-by-step through complex multimodal problems and environments. MARBLE is composed of two highly challenging tasks, M-Portal and M-Cube, that require the crafting and understanding of multistep plans under spatial, visual, and physical constraints. We find that current MLLMs perform poorly on MARBLE -- all the 12 advanced models obtain near-random performance on M-Portal and 0% accuracy on M-Cube. Only in simplified subtasks some models outperform the random baseline, indicating that complex reasoning is still a challenge for existing MLLMs. Moreover, we show that perception remains a bottleneck, where MLLMs occasionally fail to extract information from the visual inputs. By shedding a light on the limitations of MLLMs, we hope that MARBLE will spur the development of the next generation of models with the ability to reason and plan across many, multimodal reasoning steps.