VLM-3R: Модели "Визион-Ленгвидж", усиленные 3D-реконструкцией, согласованной с инструкциями

VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction

May 26, 2025

Авторы: Zhiwen Fan, Jian Zhang, Renjie Li, Junge Zhang, Runjin Chen, Hezhen Hu, Kevin Wang, Huaizhi Qu, Dilin Wang, Zhicheng Yan, Hongyu Xu, Justin Theiss, Tianlong Chen, Jiachen Li, Zhengzhong Tu, Zhangyang Wang, Rakesh Ranjan

cs.AI

Аннотация

Быстрое развитие крупных мультимодальных моделей (LMM) для 2D-изображений и видео стимулировало расширение этих моделей для понимания 3D-сцен, стремясь к достижению человеческого уровня визуально-пространственного интеллекта. Тем не менее, достижение глубокого пространственного понимания, сопоставимого с человеческими способностями, представляет значительные трудности в кодировании моделей и сборе данных. Существующие методы часто зависят от внешних датчиков глубины для захвата геометрии или используют готовые алгоритмы для предварительного построения 3D-карт, что ограничивает их масштабируемость, особенно при работе с распространенными монохромными видео и в приложениях, чувствительных ко времени. В данной работе мы представляем VLM-3R — унифицированную структуру для моделей, объединяющих зрение и язык (VLMs), которая включает настройку на основе 3D-реконструктивных инструкций. VLM-3R обрабатывает кадры монохромного видео, используя геометрический кодировщик для получения неявных 3D-токенов, представляющих пространственное понимание. Благодаря нашему подходу Spatial-Visual-View Fusion и более чем 200 тыс. тщательно отобранных пар вопросов и ответов (QA) для настройки на 3D-реконструктивные инструкции, VLM-3R эффективно связывает реальный пространственный контекст с языковыми инструкциями. Это позволяет осуществлять монохромную 3D-пространственную помощь и воплощенное рассуждение. Для облегчения оценки временного рассуждения мы представляем эталонный тест Vision-Spatial-Temporal Intelligence, содержащий более 138,6 тыс. пар QA по пяти различным задачам, сосредоточенным на изменяющихся пространственных отношениях. Многочисленные эксперименты демонстрируют, что наша модель, VLM-3R, не только способствует устойчивому визуально-пространственному рассуждению, но и позволяет понимать изменения временного 3D-контекста, превосходя по точности и масштабируемости.

English

The rapid advancement of Large Multimodal Models (LMMs) for 2D images and videos has motivated extending these models to understand 3D scenes, aiming for human-like visual-spatial intelligence. Nevertheless, achieving deep spatial understanding comparable to human capabilities poses significant challenges in model encoding and data acquisition. Existing methods frequently depend on external depth sensors for geometry capture or utilize off-the-shelf algorithms for pre-constructing 3D maps, thereby limiting their scalability, especially with prevalent monocular video inputs and for time-sensitive applications. In this work, we introduce VLM-3R, a unified framework for Vision-Language Models (VLMs) that incorporates 3D Reconstructive instruction tuning. VLM-3R processes monocular video frames by employing a geometry encoder to derive implicit 3D tokens that represent spatial understanding. Leveraging our Spatial-Visual-View Fusion and over 200K curated 3D reconstructive instruction tuning question-answer (QA) pairs, VLM-3R effectively aligns real-world spatial context with language instructions. This enables monocular 3D spatial assistance and embodied reasoning. To facilitate the evaluation of temporal reasoning, we introduce the Vision-Spatial-Temporal Intelligence benchmark, featuring over 138.6K QA pairs across five distinct tasks focused on evolving spatial relationships. Extensive experiments demonstrate that our model, VLM-3R, not only facilitates robust visual-spatial reasoning but also enables the understanding of temporal 3D context changes, excelling in both accuracy and scalability.