VLM-3R: 命令整合型3D再構成を強化した視覚言語モデル

VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction

May 26, 2025

著者: Zhiwen Fan, Jian Zhang, Renjie Li, Junge Zhang, Runjin Chen, Hezhen Hu, Kevin Wang, Huaizhi Qu, Dilin Wang, Zhicheng Yan, Hongyu Xu, Justin Theiss, Tianlong Chen, Jiachen Li, Zhengzhong Tu, Zhangyang Wang, Rakesh Ranjan

cs.AI

要旨

2D画像やビデオ向けの大規模マルチモーダルモデル（LMM）の急速な進歩は、これらのモデルを3Dシーン理解に拡張し、人間のような視覚空間知能を目指す動機となっています。しかしながら、人間の能力に匹敵する深い空間理解を達成することは、モデルのエンコーディングとデータ収集において大きな課題を抱えています。既存の手法は、幾何学情報の取得に外部の深度センサーに依存したり、3Dマップを事前に構築するための既製アルゴリズムを利用したりすることが多く、特に一般的な単眼ビデオ入力や時間制約のあるアプリケーションにおいてスケーラビリティが制限されています。本研究では、3D再構成指令チューニングを組み込んだVision-Languageモデル（VLM）の統一フレームワークであるVLM-3Rを提案します。VLM-3Rは、単眼ビデオフレームを処理するために幾何学エンコーダを使用し、空間理解を表す暗黙的な3Dトークンを導出します。我々のSpatial-Visual-View Fusionと20万以上の精選された3D再構成指令チューニングの質問応答（QA）ペアを活用することで、VLM-3Rは現実世界の空間コンテキストと言語指令を効果的に整合させます。これにより、単眼3D空間支援と具象的推論が可能となります。時間的推論の評価を容易にするために、Vision-Spatial-Temporal Intelligenceベンチマークを導入し、進化する空間関係に焦点を当てた5つの異なるタスクにわたる138.6K以上のQAペアを特徴とします。広範な実験により、我々のモデルVLM-3Rが、堅牢な視覚空間推論を促進するだけでなく、時間的な3Dコンテキストの変化を理解し、精度とスケーラビリティの両方で優れていることが実証されています。

English

The rapid advancement of Large Multimodal Models (LMMs) for 2D images and videos has motivated extending these models to understand 3D scenes, aiming for human-like visual-spatial intelligence. Nevertheless, achieving deep spatial understanding comparable to human capabilities poses significant challenges in model encoding and data acquisition. Existing methods frequently depend on external depth sensors for geometry capture or utilize off-the-shelf algorithms for pre-constructing 3D maps, thereby limiting their scalability, especially with prevalent monocular video inputs and for time-sensitive applications. In this work, we introduce VLM-3R, a unified framework for Vision-Language Models (VLMs) that incorporates 3D Reconstructive instruction tuning. VLM-3R processes monocular video frames by employing a geometry encoder to derive implicit 3D tokens that represent spatial understanding. Leveraging our Spatial-Visual-View Fusion and over 200K curated 3D reconstructive instruction tuning question-answer (QA) pairs, VLM-3R effectively aligns real-world spatial context with language instructions. This enables monocular 3D spatial assistance and embodied reasoning. To facilitate the evaluation of temporal reasoning, we introduce the Vision-Spatial-Temporal Intelligence benchmark, featuring over 138.6K QA pairs across five distinct tasks focused on evolving spatial relationships. Extensive experiments demonstrate that our model, VLM-3R, not only facilitates robust visual-spatial reasoning but also enables the understanding of temporal 3D context changes, excelling in both accuracy and scalability.