VLM-3R : Modèles vision-langage enrichis par une reconstruction 3D alignée sur les instructions

VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction

May 26, 2025

Auteurs: Zhiwen Fan, Jian Zhang, Renjie Li, Junge Zhang, Runjin Chen, Hezhen Hu, Kevin Wang, Huaizhi Qu, Dilin Wang, Zhicheng Yan, Hongyu Xu, Justin Theiss, Tianlong Chen, Jiachen Li, Zhengzhong Tu, Zhangyang Wang, Rakesh Ranjan

cs.AI

Résumé

L'avancée rapide des modèles multimodaux de grande taille (LMMs) pour les images et vidéos 2D a motivé l'extension de ces modèles à la compréhension de scènes 3D, visant une intelligence visuo-spatiale proche de celle des humains. Néanmoins, atteindre une compréhension spatiale profonde comparable aux capacités humaines pose des défis significatifs en matière d'encodage des modèles et d'acquisition de données. Les méthodes existantes dépendent souvent de capteurs de profondeur externes pour la capture de la géométrie ou utilisent des algorithmes prêts à l'emploi pour pré-construire des cartes 3D, limitant ainsi leur évolutivité, en particulier avec des entrées vidéo monoculaires prédominantes et pour des applications sensibles au temps. Dans ce travail, nous présentons VLM-3R, un cadre unifié pour les modèles vision-langage (VLMs) qui intègre un réglage d'instructions reconstructives 3D. VLM-3R traite les images vidéo monoculaires en utilisant un encodeur de géométrie pour dériver des tokens 3D implicites représentant la compréhension spatiale. En tirant parti de notre fusion Spatiale-Visuelle-Vue et de plus de 200K paires question-réponse (QA) de réglage d'instructions reconstructives 3D soigneusement sélectionnées, VLM-3R aligne efficacement le contexte spatial réel avec les instructions linguistiques. Cela permet une assistance spatiale 3D monoculaire et un raisonnement incarné. Pour faciliter l'évaluation du raisonnement temporel, nous introduisons le benchmark Vision-Spatial-Temporal Intelligence, comprenant plus de 138,6K paires QA réparties sur cinq tâches distinctes axées sur l'évolution des relations spatiales. Des expériences approfondies démontrent que notre modèle, VLM-3R, facilite non seulement un raisonnement visuo-spatial robuste, mais permet également la compréhension des changements de contexte 3D temporels, excellant à la fois en précision et en évolutivité.

English

The rapid advancement of Large Multimodal Models (LMMs) for 2D images and videos has motivated extending these models to understand 3D scenes, aiming for human-like visual-spatial intelligence. Nevertheless, achieving deep spatial understanding comparable to human capabilities poses significant challenges in model encoding and data acquisition. Existing methods frequently depend on external depth sensors for geometry capture or utilize off-the-shelf algorithms for pre-constructing 3D maps, thereby limiting their scalability, especially with prevalent monocular video inputs and for time-sensitive applications. In this work, we introduce VLM-3R, a unified framework for Vision-Language Models (VLMs) that incorporates 3D Reconstructive instruction tuning. VLM-3R processes monocular video frames by employing a geometry encoder to derive implicit 3D tokens that represent spatial understanding. Leveraging our Spatial-Visual-View Fusion and over 200K curated 3D reconstructive instruction tuning question-answer (QA) pairs, VLM-3R effectively aligns real-world spatial context with language instructions. This enables monocular 3D spatial assistance and embodied reasoning. To facilitate the evaluation of temporal reasoning, we introduce the Vision-Spatial-Temporal Intelligence benchmark, featuring over 138.6K QA pairs across five distinct tasks focused on evolving spatial relationships. Extensive experiments demonstrate that our model, VLM-3R, not only facilitates robust visual-spatial reasoning but also enables the understanding of temporal 3D context changes, excelling in both accuracy and scalability.