MM-Spatial: Исследование понимания трехмерного пространства в мультимодальных языковых моделях

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

March 17, 2025

Авторы: Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch

cs.AI

Аннотация

Мультимодальные большие языковые модели (MLLM) демонстрируют высокие результаты в понимании 2D-визуальной информации, но их способность к рассуждению о 3D-пространстве остается ограниченной. В данной работе мы используем масштабные высококачественные данные 3D-сцен с открытыми аннотациями, чтобы представить 1) новый набор данных для контролируемого тонкого обучения и 2) новый эталонный тест, ориентированный на внутренние сцены. Наш набор данных Cubify Anything VQA (CA-VQA) охватывает разнообразные пространственные задачи, включая прогнозирование пространственных отношений, оценку метрических размеров и расстояний, а также 3D-привязку. Мы показываем, что CA-VQA позволяет обучить MM-Spatial — мощную универсальную MLLM, которая также достигает наилучших результатов на эталонных тестах для понимания 3D-пространства, включая наш собственный. Мы демонстрируем, как включение метрической глубины и многовидовых входных данных (предоставленных в CA-VQA) может дополнительно улучшить понимание 3D-сцен, и показываем, что только данные позволяют нашей модели достичь возможностей восприятия глубины, сопоставимых с специализированными моделями монохромной оценки глубины. Мы опубликуем наш набор данных для тонкого обучения и эталонный тест.

English

Multimodal large language models (MLLMs) excel at 2D visual understanding but remain limited in their ability to reason about 3D space. In this work, we leverage large-scale high-quality 3D scene data with open-set annotations to introduce 1) a novel supervised fine-tuning dataset and 2) a new evaluation benchmark, focused on indoor scenes. Our Cubify Anything VQA (CA-VQA) data covers diverse spatial tasks including spatial relationship prediction, metric size and distance estimation, and 3D grounding. We show that CA-VQA enables us to train MM-Spatial, a strong generalist MLLM that also achieves state-of-the-art performance on 3D spatial understanding benchmarks, including our own. We show how incorporating metric depth and multi-view inputs (provided in CA-VQA) can further improve 3D understanding, and demonstrate that data alone allows our model to achieve depth perception capabilities comparable to dedicated monocular depth estimation models. We will publish our SFT dataset and benchmark.