FMGS: Modelo de Fundação Incorporado ao Splatting Gaussiano 3D para Compreensão Holística de Cenas 3D

FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding

January 3, 2024

Autores: Xingxing Zuo, Pouya Samangouei, Yunwen Zhou, Yan Di, Mingyang Li

cs.AI

Resumo

Perceber com precisão as propriedades geométricas e semânticas de objetos 3D do mundo real é crucial para a evolução contínua de aplicações de realidade aumentada e robótica. Para isso, apresentamos (), que incorpora embeddings visão-linguagem de modelos de base ao 3D Gaussian Splatting (GS). A principal contribuição deste trabalho é um método eficiente para reconstruir e representar modelos 3D visão-linguagem. Isso é alcançado destilando mapas de características gerados por modelos de base baseados em imagens naqueles renderizados pelo nosso modelo 3D. Para garantir renderização de alta qualidade e treinamento rápido, introduzimos uma nova representação de cena, integrando os pontos fortes do GS e codificações de hash multi-resolução (MHE). Nosso procedimento de treinamento eficaz também introduz uma perda de alinhamento de pixels que aproxima a distância de características renderizadas de entidades semânticas iguais, seguindo os limites semânticos em nível de pixel. Nossos resultados demonstram uma consistência semântica multi-visão notável, facilitando diversas tarefas subsequentes, superando métodos state-of-the-art em 10,2% na detecção de objetos baseada em linguagem de vocabulário aberto, apesar de sermos 851 vezes mais rápidos na inferência. Esta pesquisa explora a interseção entre visão, linguagem e representação de cenas 3D, abrindo caminho para uma compreensão aprimorada de cenas em ambientes reais não controlados. Planejamos liberar o código após a aceitação do artigo.

English

Precisely perceiving the geometric and semantic properties of real-world 3D objects is crucial for the continued evolution of augmented reality and robotic applications. To this end, we present (), which incorporates vision-language embeddings of foundation models into 3D Gaussian Splatting (GS). The key contribution of this work is an efficient method to reconstruct and represent 3D vision-language models. This is achieved by distilling feature maps generated from image-based foundation models into those rendered from our 3D model. To ensure high-quality rendering and fast training, we introduce a novel scene representation by integrating strengths from both GS and multi-resolution hash encodings (MHE). Our effective training procedure also introduces a pixel alignment loss that makes the rendered feature distance of same semantic entities close, following the pixel-level semantic boundaries. Our results demonstrate remarkable multi-view semantic consistency, facilitating diverse downstream tasks, beating state-of-the-art methods by 10.2 percent on open-vocabulary language-based object detection, despite that we are 851times faster for inference. This research explores the intersection of vision, language, and 3D scene representation, paving the way for enhanced scene understanding in uncontrolled real-world environments. We plan to release the code upon paper acceptance.