Aprendizado a partir de Vídeos para o Mundo 3D: Aprimorando MLLMs com Prioridades de Visão 3D e Geometria

Learning from Videos for 3D World: Enhancing MLLMs with 3D Vision Geometry Priors

May 30, 2025

Autores: Duo Zheng, Shijia Huang, Yanyang Li, Liwei Wang

cs.AI

Resumo

Pesquisas anteriores investigaram a aplicação de Modelos de Linguagem Multimodais de Grande Escala (MLLMs) na compreensão de cenas 3D, interpretando-as como vídeos. Essas abordagens geralmente dependem de entradas abrangentes de dados 3D, como nuvens de pontos ou mapas reconstruídos de Visão de Cima para Baixo (BEV). Em nossa pesquisa, avançamos nesse campo ao aprimorar a capacidade dos MLLMs de entender e raciocinar em espaços 3D diretamente a partir de dados de vídeo, sem a necessidade de entradas adicionais de dados 3D. Propomos um método novo e eficiente, o Modelo de Linguagem de Grande Escala de Geometria 3D a partir de Vídeo (VG LLM). Nossa abordagem emprega um codificador de geometria visual 3D que extrai informações prévias de 3D a partir de sequências de vídeo. Essas informações são integradas com tokens visuais e alimentadas no MLLM. Experimentos extensivos mostraram que nosso método alcançou melhorias substanciais em várias tarefas relacionadas à compreensão de cenas 3D e raciocínio espacial, todas aprendidas diretamente a partir de fontes de vídeo. Impressionantemente, nosso modelo de 4B, que não depende de entradas explícitas de dados 3D, alcança resultados competitivos em comparação com os métodos state-of-the-art existentes, e até supera o Gemini-1.5-Pro nas avaliações do VSI-Bench.

English

Previous research has investigated the application of Multimodal Large Language Models (MLLMs) in understanding 3D scenes by interpreting them as videos. These approaches generally depend on comprehensive 3D data inputs, such as point clouds or reconstructed Bird's-Eye View (BEV) maps. In our research, we advance this field by enhancing the capability of MLLMs to understand and reason in 3D spaces directly from video data, without the need for additional 3D input. We propose a novel and efficient method, the Video-3D Geometry Large Language Model (VG LLM). Our approach employs a 3D visual geometry encoder that extracts 3D prior information from video sequences. This information is integrated with visual tokens and fed into the MLLM. Extensive experiments have shown that our method has achieved substantial improvements in various tasks related to 3D scene understanding and spatial reasoning, all directly learned from video sources. Impressively, our 4B model, which does not rely on explicit 3D data inputs, achieves competitive results compared to existing state-of-the-art methods, and even surpasses the Gemini-1.5-Pro in the VSI-Bench evaluations.