MM-Spatial: Onderzoek naar 3D-ruimtelijk begrip in multimodale LLM's

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

March 17, 2025

Auteurs: Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch

cs.AI

Samenvatting

Multimodale grote taalmodellen (MLLMs) blinken uit in 2D-visueel begrip, maar blijven beperkt in hun vermogen om te redeneren over 3D-ruimte. In dit werk benutten we grootschalige, hoogwaardige 3D-scènegegevens met open-set annotaties om 1) een nieuw begeleid fine-tuning dataset en 2) een nieuwe evaluatiebenchmark te introduceren, gericht op binnenruimtes. Onze Cubify Anything VQA (CA-VQA) data omvat diverse ruimtelijke taken, waaronder het voorspellen van ruimtelijke relaties, het schatten van metrische afmetingen en afstanden, en 3D-verankering. We tonen aan dat CA-VQA ons in staat stelt om MM-Spatial te trainen, een sterke generalistische MLLM die ook state-of-the-art prestaties behaalt op 3D-ruimtelijk begrip benchmarks, inclusief onze eigen. We laten zien hoe het integreren van metrische diepte en multi-view inputs (beschikbaar in CA-VQA) het 3D-begrip verder kan verbeteren, en demonstreren dat alleen al de data ons model in staat stelt om dieptewaarnemingscapaciteiten te bereiken die vergelijkbaar zijn met toegewijde monoculaire diepteschattingsmodellen. We zullen ons SFT-dataset en benchmark publiceren.

English

Multimodal large language models (MLLMs) excel at 2D visual understanding but remain limited in their ability to reason about 3D space. In this work, we leverage large-scale high-quality 3D scene data with open-set annotations to introduce 1) a novel supervised fine-tuning dataset and 2) a new evaluation benchmark, focused on indoor scenes. Our Cubify Anything VQA (CA-VQA) data covers diverse spatial tasks including spatial relationship prediction, metric size and distance estimation, and 3D grounding. We show that CA-VQA enables us to train MM-Spatial, a strong generalist MLLM that also achieves state-of-the-art performance on 3D spatial understanding benchmarks, including our own. We show how incorporating metric depth and multi-view inputs (provided in CA-VQA) can further improve 3D understanding, and demonstrate that data alone allows our model to achieve depth perception capabilities comparable to dedicated monocular depth estimation models. We will publish our SFT dataset and benchmark.