VLM-3R: Modelos de Visión-Lenguaje Potenciados con Reconstrucción 3D Alineada a Instrucciones

VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction

May 26, 2025

Autores: Zhiwen Fan, Jian Zhang, Renjie Li, Junge Zhang, Runjin Chen, Hezhen Hu, Kevin Wang, Huaizhi Qu, Dilin Wang, Zhicheng Yan, Hongyu Xu, Justin Theiss, Tianlong Chen, Jiachen Li, Zhengzhong Tu, Zhangyang Wang, Rakesh Ranjan

cs.AI

Resumen

El rápido avance de los Modelos Multimodales de Gran Escala (LMMs) para imágenes y videos 2D ha motivado la extensión de estos modelos para comprender escenas 3D, con el objetivo de alcanzar una inteligencia visual-espacial similar a la humana. Sin embargo, lograr una comprensión espacial profunda comparable a las capacidades humanas presenta desafíos significativos en la codificación de modelos y la adquisición de datos. Los métodos existentes frecuentemente dependen de sensores de profundidad externos para capturar geometría o utilizan algoritmos preexistentes para preconstruir mapas 3D, lo que limita su escalabilidad, especialmente con entradas de video monoculares prevalentes y para aplicaciones sensibles al tiempo. En este trabajo, presentamos VLM-3R, un marco unificado para Modelos de Visión-Lenguaje (VLMs) que incorpora ajuste instructivo reconstructivo 3D. VLM-3R procesa fotogramas de video monoculares empleando un codificador de geometría para derivar tokens 3D implícitos que representan la comprensión espacial. Aprovechando nuestra Fusión Espacial-Visual-Vista y más de 200K pares de preguntas-respuestas (QA) de ajuste instructivo reconstructivo 3D seleccionados, VLM-3R alinea eficazmente el contexto espacial del mundo real con instrucciones de lenguaje. Esto permite asistencia espacial 3D monocular y razonamiento encarnado. Para facilitar la evaluación del razonamiento temporal, introducimos el benchmark de Inteligencia Espacial-Temporal-Visual, que presenta más de 138.6K pares QA en cinco tareas distintas centradas en relaciones espaciales en evolución. Experimentos extensivos demuestran que nuestro modelo, VLM-3R, no solo facilita un razonamiento visual-espacial robusto, sino que también permite la comprensión de cambios de contexto 3D temporales, destacándose tanto en precisión como en escalabilidad.

English

The rapid advancement of Large Multimodal Models (LMMs) for 2D images and videos has motivated extending these models to understand 3D scenes, aiming for human-like visual-spatial intelligence. Nevertheless, achieving deep spatial understanding comparable to human capabilities poses significant challenges in model encoding and data acquisition. Existing methods frequently depend on external depth sensors for geometry capture or utilize off-the-shelf algorithms for pre-constructing 3D maps, thereby limiting their scalability, especially with prevalent monocular video inputs and for time-sensitive applications. In this work, we introduce VLM-3R, a unified framework for Vision-Language Models (VLMs) that incorporates 3D Reconstructive instruction tuning. VLM-3R processes monocular video frames by employing a geometry encoder to derive implicit 3D tokens that represent spatial understanding. Leveraging our Spatial-Visual-View Fusion and over 200K curated 3D reconstructive instruction tuning question-answer (QA) pairs, VLM-3R effectively aligns real-world spatial context with language instructions. This enables monocular 3D spatial assistance and embodied reasoning. To facilitate the evaluation of temporal reasoning, we introduce the Vision-Spatial-Temporal Intelligence benchmark, featuring over 138.6K QA pairs across five distinct tasks focused on evolving spatial relationships. Extensive experiments demonstrate that our model, VLM-3R, not only facilitates robust visual-spatial reasoning but also enables the understanding of temporal 3D context changes, excelling in both accuracy and scalability.