VLM-3R: Modelos Visão-Linguagem Aprimorados com Reconstrução 3D Alinhada a Instruções

Resumo

O rápido avanço dos Modelos Multimodais de Grande Escala (LMMs) para imagens e vídeos 2D motivou a extensão desses modelos para compreender cenas 3D, visando uma inteligência visual-espacial semelhante à humana. No entanto, alcançar um entendimento espacial profundo comparável às capacidades humanas apresenta desafios significativos na codificação do modelo e na aquisição de dados. Os métodos existentes frequentemente dependem de sensores de profundidade externos para captura de geometria ou utilizam algoritmos prontos para pré-construir mapas 3D, limitando assim sua escalabilidade, especialmente com entradas de vídeo monoculares predominantes e para aplicações sensíveis ao tempo. Neste trabalho, apresentamos o VLM-3R, uma estrutura unificada para Modelos de Visão e Linguagem (VLMs) que incorpora ajuste de instruções reconstrutivas 3D. O VLM-3R processa quadros de vídeo monoculares empregando um codificador de geometria para derivar tokens 3D implícitos que representam o entendimento espacial. Aproveitando nossa Fusão Espacial-Visual-View e mais de 200K pares de perguntas e respostas (QA) de ajuste de instruções reconstrutivas 3D, o VLM-3R alinha efetivamente o contexto espacial do mundo real com instruções de linguagem. Isso permite assistência espacial 3D monocular e raciocínio incorporado. Para facilitar a avaliação do raciocínio temporal, introduzimos o benchmark de Inteligência Espacial-Temporal-Visual, apresentando mais de 138,6K pares de QA em cinco tarefas distintas focadas em relações espaciais em evolução. Experimentos extensivos demonstram que nosso modelo, VLM-3R, não apenas facilita um raciocínio visual-espacial robusto, mas também permite a compreensão de mudanças contextuais 3D temporais, destacando-se tanto em precisão quanto em escalabilidade.

English

The rapid advancement of Large Multimodal Models (LMMs) for 2D images and videos has motivated extending these models to understand 3D scenes, aiming for human-like visual-spatial intelligence. Nevertheless, achieving deep spatial understanding comparable to human capabilities poses significant challenges in model encoding and data acquisition. Existing methods frequently depend on external depth sensors for geometry capture or utilize off-the-shelf algorithms for pre-constructing 3D maps, thereby limiting their scalability, especially with prevalent monocular video inputs and for time-sensitive applications. In this work, we introduce VLM-3R, a unified framework for Vision-Language Models (VLMs) that incorporates 3D Reconstructive instruction tuning. VLM-3R processes monocular video frames by employing a geometry encoder to derive implicit 3D tokens that represent spatial understanding. Leveraging our Spatial-Visual-View Fusion and over 200K curated 3D reconstructive instruction tuning question-answer (QA) pairs, VLM-3R effectively aligns real-world spatial context with language instructions. This enables monocular 3D spatial assistance and embodied reasoning. To facilitate the evaluation of temporal reasoning, we introduce the Vision-Spatial-Temporal Intelligence benchmark, featuring over 138.6K QA pairs across five distinct tasks focused on evolving spatial relationships. Extensive experiments demonstrate that our model, VLM-3R, not only facilitates robust visual-spatial reasoning but also enables the understanding of temporal 3D context changes, excelling in both accuracy and scalability.

VLM-3R: Modelos Visão-Linguagem Aprimorados com Reconstrução 3D Alinhada a Instruções

VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction

Resumo

Support