MM-Spatial: マルチモーダルLLMにおける3D空間理解の探求

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

March 17, 2025

著者: Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLM）は2次元の視覚理解において優れていますが、3次元空間に関する推論能力には限界があります。本研究では、大規模で高品質な3Dシーンデータとオープンセットのアノテーションを活用し、1) 新しい教師ありファインチューニング用データセットと、2) 屋内シーンに焦点を当てた新しい評価ベンチマークを導入します。私たちのCubify Anything VQA（CA-VQA）データは、空間関係予測、メトリックサイズと距離推定、3Dグラウンディングなど、多様な空間タスクをカバーしています。CA-VQAを使用することで、MM-Spatialという強力な汎用MLLMを訓練し、3D空間理解ベンチマークにおいて最先端の性能を達成することを示します。また、CA-VQAで提供されるメトリック深度とマルチビュー入力を組み込むことで、3D理解がさらに向上することを示し、データのみで専用の単眼深度推定モデルに匹敵する深度知覚能力をモデルが獲得できることを実証します。私たちはSFTデータセットとベンチマークを公開します。

English

Multimodal large language models (MLLMs) excel at 2D visual understanding but remain limited in their ability to reason about 3D space. In this work, we leverage large-scale high-quality 3D scene data with open-set annotations to introduce 1) a novel supervised fine-tuning dataset and 2) a new evaluation benchmark, focused on indoor scenes. Our Cubify Anything VQA (CA-VQA) data covers diverse spatial tasks including spatial relationship prediction, metric size and distance estimation, and 3D grounding. We show that CA-VQA enables us to train MM-Spatial, a strong generalist MLLM that also achieves state-of-the-art performance on 3D spatial understanding benchmarks, including our own. We show how incorporating metric depth and multi-view inputs (provided in CA-VQA) can further improve 3D understanding, and demonstrate that data alone allows our model to achieve depth perception capabilities comparable to dedicated monocular depth estimation models. We will publish our SFT dataset and benchmark.