MM-Spatial: 멀티모달 LLM에서의 3D 공간 이해 탐구

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

March 17, 2025

저자: Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch

cs.AI

초록

멀티모달 대형 언어 모델(MLLM)은 2D 시각적 이해에서 뛰어난 성능을 보이지만, 3D 공간에 대한 추론 능력은 여전히 제한적입니다. 본 연구에서는 대규모 고품질 3D 장면 데이터와 오픈셋 주석을 활용하여 1) 새로운 지도 학습 미세 조정 데이터셋과 2) 실내 장면에 초점을 맞춘 새로운 평가 벤치마크를 소개합니다. 우리의 Cubify Anything VQA(CA-VQA) 데이터는 공간 관계 예측, 미터법 크기 및 거리 추정, 3D 그라운딩 등 다양한 공간 작업을 다룹니다. CA-VQA를 통해 MM-Spatial이라는 강력한 일반화 MLLM을 훈련할 수 있으며, 이 모델은 우리의 벤치마크를 포함한 3D 공간 이해 벤치마크에서 최첨단 성능을 달성합니다. CA-VQA에서 제공하는 미터법 깊이와 다중 뷰 입력을 통합함으로써 3D 이해를 더욱 향상시킬 수 있음을 보여주며, 데이터만으로도 전용 단안 깊이 추정 모델에 필적하는 깊이 인식 능력을 달성할 수 있음을 입증합니다. 우리는 SFT 데이터셋과 벤치마크를 공개할 예정입니다.

English

Multimodal large language models (MLLMs) excel at 2D visual understanding but remain limited in their ability to reason about 3D space. In this work, we leverage large-scale high-quality 3D scene data with open-set annotations to introduce 1) a novel supervised fine-tuning dataset and 2) a new evaluation benchmark, focused on indoor scenes. Our Cubify Anything VQA (CA-VQA) data covers diverse spatial tasks including spatial relationship prediction, metric size and distance estimation, and 3D grounding. We show that CA-VQA enables us to train MM-Spatial, a strong generalist MLLM that also achieves state-of-the-art performance on 3D spatial understanding benchmarks, including our own. We show how incorporating metric depth and multi-view inputs (provided in CA-VQA) can further improve 3D understanding, and demonstrate that data alone allows our model to achieve depth perception capabilities comparable to dedicated monocular depth estimation models. We will publish our SFT dataset and benchmark.