VLM-3R: 명령어 정렬 3D 재구성으로 강화된 시각-언어 모델

VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction

May 26, 2025

저자: Zhiwen Fan, Jian Zhang, Renjie Li, Junge Zhang, Runjin Chen, Hezhen Hu, Kevin Wang, Huaizhi Qu, Dilin Wang, Zhicheng Yan, Hongyu Xu, Justin Theiss, Tianlong Chen, Jiachen Li, Zhengzhong Tu, Zhangyang Wang, Rakesh Ranjan

cs.AI

초록

2D 이미지와 비디오를 위한 대규모 멀티모달 모델(LMMs)의 급속한 발전은 인간과 유사한 시각-공간 지능을 목표로 이러한 모델을 3D 장면 이해로 확장하는 동기를 부여했습니다. 그러나 인간의 능력에 필적하는 깊은 공간 이해를 달성하는 것은 모델 인코딩과 데이터 획득 측면에서 상당한 도전 과제를 제시합니다. 기존 방법들은 주로 외부 깊이 센서를 사용한 기하학적 정보 획득에 의존하거나, 미리 구축된 3D 맵을 활용하는 기성 알고리즘을 사용함으로써, 특히 단안 비디오 입력과 시간에 민감한 애플리케이션에서 확장성을 제한합니다. 본 연구에서는 3D 재구성 지시 튜닝을 통합한 통합 비전-언어 모델(VLM) 프레임워크인 VLM-3R을 소개합니다. VLM-3R은 단안 비디오 프레임을 처리하기 위해 기하학적 인코더를 사용하여 공간 이해를 나타내는 암묵적 3D 토큰을 도출합니다. 우리의 공간-시각-뷰 융합(Spatial-Visual-View Fusion)과 20만 개 이상의 정제된 3D 재구성 지시 튜닝 질문-답변(QA) 쌍을 활용하여, VLM-3R은 실제 세계의 공간적 맥락과 언어 지시를 효과적으로 정렬합니다. 이를 통해 단안 3D 공간 지원과 구체화된 추론이 가능해집니다. 시간적 추론 평가를 용이하게 하기 위해, 우리는 변화하는 공간 관계에 초점을 맞춘 5가지 독특한 작업에 걸쳐 138.6K 이상의 QA 쌍을 포함한 Vision-Spatial-Temporal Intelligence 벤치마크를 도입했습니다. 광범위한 실험을 통해, 우리의 모델 VLM-3R이 강력한 시각-공간 추론을 가능하게 할 뿐만 아니라 시간적 3D 맥락 변화를 이해하는 데도 탁월하며, 정확성과 확장성 모두에서 뛰어난 성능을 보임을 입증했습니다.

English

The rapid advancement of Large Multimodal Models (LMMs) for 2D images and videos has motivated extending these models to understand 3D scenes, aiming for human-like visual-spatial intelligence. Nevertheless, achieving deep spatial understanding comparable to human capabilities poses significant challenges in model encoding and data acquisition. Existing methods frequently depend on external depth sensors for geometry capture or utilize off-the-shelf algorithms for pre-constructing 3D maps, thereby limiting their scalability, especially with prevalent monocular video inputs and for time-sensitive applications. In this work, we introduce VLM-3R, a unified framework for Vision-Language Models (VLMs) that incorporates 3D Reconstructive instruction tuning. VLM-3R processes monocular video frames by employing a geometry encoder to derive implicit 3D tokens that represent spatial understanding. Leveraging our Spatial-Visual-View Fusion and over 200K curated 3D reconstructive instruction tuning question-answer (QA) pairs, VLM-3R effectively aligns real-world spatial context with language instructions. This enables monocular 3D spatial assistance and embodied reasoning. To facilitate the evaluation of temporal reasoning, we introduce the Vision-Spatial-Temporal Intelligence benchmark, featuring over 138.6K QA pairs across five distinct tasks focused on evolving spatial relationships. Extensive experiments demonstrate that our model, VLM-3R, not only facilitates robust visual-spatial reasoning but also enables the understanding of temporal 3D context changes, excelling in both accuracy and scalability.