MM-Spatial: Exploración de la comprensión espacial 3D en LLMs multimodales

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

March 17, 2025

Autores: Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch

cs.AI

Resumen

Los modelos de lenguaje multimodal de gran escala (MLLMs) destacan en la comprensión visual 2D, pero siguen siendo limitados en su capacidad para razonar sobre el espacio 3D. En este trabajo, aprovechamos datos de escenas 3D a gran escala y de alta calidad con anotaciones de conjunto abierto para introducir 1) un nuevo conjunto de datos de ajuste fino supervisado y 2) un nuevo punto de referencia de evaluación, centrado en escenas interiores. Nuestro conjunto de datos Cubify Anything VQA (CA-VQA) abarca diversas tareas espaciales, incluyendo la predicción de relaciones espaciales, la estimación de tamaños y distancias métricas, y la anclaje 3D. Demostramos que CA-VQA nos permite entrenar MM-Spatial, un MLLM generalista robusto que también alcanza un rendimiento de vanguardia en puntos de referencia de comprensión espacial 3D, incluido el nuestro. Mostramos cómo la incorporación de profundidad métrica y entradas de múltiples vistas (proporcionadas en CA-VQA) puede mejorar aún más la comprensión 3D, y demostramos que los datos por sí solos permiten que nuestro modelo alcance capacidades de percepción de profundidad comparables a los modelos dedicados a la estimación de profundidad monocular. Publicaremos nuestro conjunto de datos de ajuste fino (SFT) y el punto de referencia.

English

Multimodal large language models (MLLMs) excel at 2D visual understanding but remain limited in their ability to reason about 3D space. In this work, we leverage large-scale high-quality 3D scene data with open-set annotations to introduce 1) a novel supervised fine-tuning dataset and 2) a new evaluation benchmark, focused on indoor scenes. Our Cubify Anything VQA (CA-VQA) data covers diverse spatial tasks including spatial relationship prediction, metric size and distance estimation, and 3D grounding. We show that CA-VQA enables us to train MM-Spatial, a strong generalist MLLM that also achieves state-of-the-art performance on 3D spatial understanding benchmarks, including our own. We show how incorporating metric depth and multi-view inputs (provided in CA-VQA) can further improve 3D understanding, and demonstrate that data alone allows our model to achieve depth perception capabilities comparable to dedicated monocular depth estimation models. We will publish our SFT dataset and benchmark.