MM-Spatial : Exploration de la compréhension spatiale 3D dans les modèles de langage multimodaux

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

March 17, 2025

Auteurs: Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch

cs.AI

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) excellent dans la compréhension visuelle 2D, mais restent limités dans leur capacité à raisonner sur l'espace 3D. Dans ce travail, nous exploitons des données de scènes 3D à grande échelle et de haute qualité avec des annotations en ensemble ouvert pour introduire 1) un nouvel ensemble de données de fine-tuning supervisé et 2) un nouveau benchmark d'évaluation, axé sur les scènes intérieures. Notre ensemble de données Cubify Anything VQA (CA-VQA) couvre diverses tâches spatiales, notamment la prédiction des relations spatiales, l'estimation des tailles et distances métriques, et l'ancrage 3D. Nous montrons que CA-VQA nous permet d'entraîner MM-Spatial, un MLLM généraliste performant qui atteint également des performances de pointe sur les benchmarks de compréhension spatiale 3D, y compris le nôtre. Nous montrons comment l'intégration de la profondeur métrique et des entrées multi-vues (fournies dans CA-VQA) peut encore améliorer la compréhension 3D, et démontrons que les données seules permettent à notre modèle d'atteindre des capacités de perception de la profondeur comparables à celles des modèles dédiés à l'estimation de la profondeur monoculaire. Nous publierons notre ensemble de données SFT et notre benchmark.

English

Multimodal large language models (MLLMs) excel at 2D visual understanding but remain limited in their ability to reason about 3D space. In this work, we leverage large-scale high-quality 3D scene data with open-set annotations to introduce 1) a novel supervised fine-tuning dataset and 2) a new evaluation benchmark, focused on indoor scenes. Our Cubify Anything VQA (CA-VQA) data covers diverse spatial tasks including spatial relationship prediction, metric size and distance estimation, and 3D grounding. We show that CA-VQA enables us to train MM-Spatial, a strong generalist MLLM that also achieves state-of-the-art performance on 3D spatial understanding benchmarks, including our own. We show how incorporating metric depth and multi-view inputs (provided in CA-VQA) can further improve 3D understanding, and demonstrate that data alone allows our model to achieve depth perception capabilities comparable to dedicated monocular depth estimation models. We will publish our SFT dataset and benchmark.