VLM3: Modelos de Linguagem Visual São Aprendizes 3D Nativos

Resumo

Modelos de Linguagem Visual (VLMs) permitem que um modelo unificado resolva diversas tarefas de visão por meio de prompts. Eles têm demonstrado desempenho promissor em compreensão semântica. No entanto, a compreensão 3D ainda depende amplamente de modelos de visão especializados, com designs complexos específicos para cada tarefa. O argumento central que este trabalho quer apresentar é que VLMs são aprendizes nativos de 3D. Nosso estudo aprofundado em larga escala mostra que 1) unificação da distância focal, 2) referência de pixel baseada em texto e 3) mistura e escalonamento de dados são tudo o que é necessário para um aprendizado 3D eficaz. Mudanças na arquitetura do modelo, modelos grandes, aumentações de dados pesadas e perdas complexas, incluindo a formulação de regressão — muitos dos quais formam a base dos modelos de visão especializados —, na verdade não são condições necessárias. Como resultado, propomos VLM3, um método escalável com o design mais simples que permite que VLMs padrão dominem diversas tarefas 3D. VLM3 não apenas avança a precisão da estimativa de profundidade do VLM com uma grande margem (0,84 -> 0,9), mas também possibilita diversas tarefas 3D, como correspondência de pixels, estimativa de pose de câmera e compreensão 3D no nível de objeto, igualando a precisão de modelos de visão especializados, mantendo arquiteturas padrão e treinamento baseado em texto. Acreditamos que VLM3 abre um novo paradigma para aprendizado 3D simples e escalável.

English

Vision Language Models (VLMs) enable a unified model to solve various vision tasks through prompting. They have shown promising performance in semantic understanding. However, 3D understanding still largely relies on expert vision models with complex task-specific designs. The key argument this work wants to make is that VLMs are native 3D learners. Our in-depth large scale study shows that 1) focal length unification, 2) text-based pixel reference and 3) data mixture and scaling, are all you need for effective 3D learning. Model architecture changes, large models, heavy data augmentations, and complex losses including the regression formulation, many of which form the foundation of expert vision models, are actually not necessary conditions. As a result, we propose VLM3, a scalable method with the simplest design that enables standard VLMs to master diverse 3D tasks. VLM3 not only advances the VLM depth estimation accuracy by a large margin (0.84 -> 0.9), but also enables diverse 3D tasks such as pixel correspondence, camera pose estimation and object-level 3D understanding, matching expert vision model accuracy while maintaining standard architectures and text-based training. We believe VLM3 opens up a new paradigm for simple and scalable 3D learning.