MM-Spatial: Esplorazione della comprensione spaziale 3D nei modelli linguistici multimodali

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

March 17, 2025

Autori: Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLM) eccellono nella comprensione visiva 2D, ma rimangono limitati nella capacità di ragionare sullo spazio 3D. In questo lavoro, sfruttiamo dati su larga scala di scene 3D di alta qualità con annotazioni open-set per introdurre 1) un nuovo dataset di fine-tuning supervisionato e 2) un nuovo benchmark di valutazione, focalizzato su scene indoor. Il nostro dataset Cubify Anything VQA (CA-VQA) copre una vasta gamma di compiti spaziali, tra cui la previsione delle relazioni spaziali, la stima delle dimensioni metriche e delle distanze, e il grounding 3D. Dimostriamo che CA-VQA ci permette di addestrare MM-Spatial, un MLLM generalista di grande efficacia che raggiunge anche prestazioni all'avanguardia nei benchmark di comprensione spaziale 3D, incluso il nostro. Mostriamo come l'incorporazione della profondità metrica e degli input multi-vista (forniti in CA-VQA) possa ulteriormente migliorare la comprensione 3D, e dimostriamo che i dati da soli consentono al nostro modello di raggiungere capacità di percezione della profondità paragonabili a modelli dedicati di stima della profondità monoculare. Pubblicheremo il nostro dataset SFT e il benchmark.

English

Multimodal large language models (MLLMs) excel at 2D visual understanding but remain limited in their ability to reason about 3D space. In this work, we leverage large-scale high-quality 3D scene data with open-set annotations to introduce 1) a novel supervised fine-tuning dataset and 2) a new evaluation benchmark, focused on indoor scenes. Our Cubify Anything VQA (CA-VQA) data covers diverse spatial tasks including spatial relationship prediction, metric size and distance estimation, and 3D grounding. We show that CA-VQA enables us to train MM-Spatial, a strong generalist MLLM that also achieves state-of-the-art performance on 3D spatial understanding benchmarks, including our own. We show how incorporating metric depth and multi-view inputs (provided in CA-VQA) can further improve 3D understanding, and demonstrate that data alone allows our model to achieve depth perception capabilities comparable to dedicated monocular depth estimation models. We will publish our SFT dataset and benchmark.