FMGS : Modèle de fondation intégré dans le splatting 3D gaussien pour une compréhension holistique des scènes 3D

FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding

January 3, 2024

papers.authors: Xingxing Zuo, Pouya Samangouei, Yunwen Zhou, Yan Di, Mingyang Li

cs.AI

papers.abstract

La perception précise des propriétés géométriques et sémantiques des objets 3D du monde réel est cruciale pour l'évolution continue des applications de réalité augmentée et de robotique. À cette fin, nous présentons (), qui intègre des embeddings vision-langage de modèles de fond dans le 3D Gaussian Splatting (GS). La contribution principale de ce travail est une méthode efficace pour reconstruire et représenter des modèles 3D vision-langage. Cela est réalisé en distillant des cartes de caractéristiques générées à partir de modèles de fond basés sur l'image dans celles rendues par notre modèle 3D. Pour assurer un rendu de haute qualité et un entraînement rapide, nous introduisons une nouvelle représentation de scène en intégrant les forces du GS et des encodages de hachage multi-résolution (MHE). Notre procédure d'entraînement efficace introduit également une perte d'alignement de pixels qui rapproche la distance des caractéristiques rendues des entités sémantiques identiques, en suivant les limites sémantiques au niveau des pixels. Nos résultats démontrent une remarquable cohérence sémantique multi-vues, facilitant diverses tâches en aval, surpassant les méthodes de pointe de 10,2 % sur la détection d'objets basée sur le langage à vocabulaire ouvert, malgré une inférence 851 fois plus rapide. Cette recherche explore l'intersection de la vision, du langage et de la représentation de scènes 3D, ouvrant la voie à une meilleure compréhension des scènes dans des environnements réels non contrôlés. Nous prévoyons de publier le code dès l'acceptation de l'article.

English

Precisely perceiving the geometric and semantic properties of real-world 3D objects is crucial for the continued evolution of augmented reality and robotic applications. To this end, we present (), which incorporates vision-language embeddings of foundation models into 3D Gaussian Splatting (GS). The key contribution of this work is an efficient method to reconstruct and represent 3D vision-language models. This is achieved by distilling feature maps generated from image-based foundation models into those rendered from our 3D model. To ensure high-quality rendering and fast training, we introduce a novel scene representation by integrating strengths from both GS and multi-resolution hash encodings (MHE). Our effective training procedure also introduces a pixel alignment loss that makes the rendered feature distance of same semantic entities close, following the pixel-level semantic boundaries. Our results demonstrate remarkable multi-view semantic consistency, facilitating diverse downstream tasks, beating state-of-the-art methods by 10.2 percent on open-vocabulary language-based object detection, despite that we are 851times faster for inference. This research explores the intersection of vision, language, and 3D scene representation, paving the way for enhanced scene understanding in uncontrolled real-world environments. We plan to release the code upon paper acceptance.