MARBLE: Um Benchmark Desafiador para Raciocínio e Planejamento Espacial Multimodal

MARBLE: A Hard Benchmark for Multimodal Spatial Reasoning and Planning

June 28, 2025

Autores: Yulun Jiang, Yekun Chai, Maria Brbić, Michael Moor

cs.AI

Resumo

A capacidade de processar informações de múltiplas modalidades e raciocinar por meio delas passo a passo continua sendo um desafio crítico no avanço da inteligência artificial. No entanto, os benchmarks de raciocínio existentes focam em raciocínio baseado apenas em texto ou empregam questões multimodais que podem ser respondidas pela recuperação direta de informações de uma modalidade não textual. Assim, o raciocínio complexo permanece pouco compreendido em domínios multimodais. Aqui, apresentamos o MARBLE, um benchmark desafiador de raciocínio multimodal projetado para examinar modelos de linguagem multimodal (MLLMs) em sua capacidade de raciocinar cuidadosamente passo a passo por meio de problemas e ambientes multimodais complexos. O MARBLE é composto por duas tarefas altamente desafiadoras, M-Portal e M-Cube, que exigem a elaboração e compreensão de planos de múltiplos passos sob restrições espaciais, visuais e físicas. Descobrimos que os MLLMs atuais têm um desempenho ruim no MARBLE — todos os 12 modelos avançados obtêm desempenho próximo ao aleatório no M-Portal e 0% de precisão no M-Cube. Apenas em subtarefas simplificadas alguns modelos superam a linha de base aleatória, indicando que o raciocínio complexo ainda é um desafio para os MLLMs existentes. Além disso, mostramos que a percepção continua sendo um gargalo, onde os MLLMs ocasionalmente falham em extrair informações das entradas visuais. Ao lançar luz sobre as limitações dos MLLMs, esperamos que o MARBLE impulsione o desenvolvimento da próxima geração de modelos com a capacidade de raciocinar e planejar através de muitos passos de raciocínio multimodal.

English

The ability to process information from multiple modalities and to reason through it step-by-step remains a critical challenge in advancing artificial intelligence. However, existing reasoning benchmarks focus on text-only reasoning, or employ multimodal questions that can be answered by directly retrieving information from a non-text modality. Thus, complex reasoning remains poorly understood in multimodal domains. Here, we present MARBLE, a challenging multimodal reasoning benchmark that is designed to scrutinize multimodal language models (MLLMs) in their ability to carefully reason step-by-step through complex multimodal problems and environments. MARBLE is composed of two highly challenging tasks, M-Portal and M-Cube, that require the crafting and understanding of multistep plans under spatial, visual, and physical constraints. We find that current MLLMs perform poorly on MARBLE -- all the 12 advanced models obtain near-random performance on M-Portal and 0% accuracy on M-Cube. Only in simplified subtasks some models outperform the random baseline, indicating that complex reasoning is still a challenge for existing MLLMs. Moreover, we show that perception remains a bottleneck, where MLLMs occasionally fail to extract information from the visual inputs. By shedding a light on the limitations of MLLMs, we hope that MARBLE will spur the development of the next generation of models with the ability to reason and plan across many, multimodal reasoning steps.