MM-Spatial: Explorando a Compreensão Espacial 3D em LLMs Multimodais

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

March 17, 2025

Autores: Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch

cs.AI

Resumo

Modelos de linguagem multimodal de grande escala (MLLMs) se destacam na compreensão visual 2D, mas ainda são limitados em sua capacidade de raciocinar sobre o espaço 3D. Neste trabalho, aproveitamos dados de cenas 3D em grande escala e de alta qualidade com anotações de conjunto aberto para introduzir 1) um novo conjunto de dados de ajuste fino supervisionado e 2) um novo benchmark de avaliação, focado em cenas internas. Nosso Cubify Anything VQA (CA-VQA) abrange diversas tarefas espaciais, incluindo previsão de relações espaciais, estimativa de tamanho e distância métrica, e ancoragem 3D. Mostramos que o CA-VQA nos permite treinar o MM-Spatial, um MLLM generalista robusto que também alcança desempenho de ponta em benchmarks de compreensão espacial 3D, incluindo o nosso próprio. Demonstramos como a incorporação de profundidade métrica e entradas de múltiplas visões (fornecidas no CA-VQA) pode melhorar ainda mais a compreensão 3D, e evidenciamos que apenas os dados permitem que nosso modelo alcance capacidades de percepção de profundidade comparáveis a modelos dedicados de estimativa de profundidade monocular. Publicaremos nosso conjunto de dados de ajuste fino (SFT) e o benchmark.

English

Multimodal large language models (MLLMs) excel at 2D visual understanding but remain limited in their ability to reason about 3D space. In this work, we leverage large-scale high-quality 3D scene data with open-set annotations to introduce 1) a novel supervised fine-tuning dataset and 2) a new evaluation benchmark, focused on indoor scenes. Our Cubify Anything VQA (CA-VQA) data covers diverse spatial tasks including spatial relationship prediction, metric size and distance estimation, and 3D grounding. We show that CA-VQA enables us to train MM-Spatial, a strong generalist MLLM that also achieves state-of-the-art performance on 3D spatial understanding benchmarks, including our own. We show how incorporating metric depth and multi-view inputs (provided in CA-VQA) can further improve 3D understanding, and demonstrate that data alone allows our model to achieve depth perception capabilities comparable to dedicated monocular depth estimation models. We will publish our SFT dataset and benchmark.