FMGS: Foundation Model Ingebedde 3D Gaussische Splatting voor Holistisch 3D Scènebegrip

FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding

January 3, 2024

Auteurs: Xingxing Zuo, Pouya Samangouei, Yunwen Zhou, Yan Di, Mingyang Li

cs.AI

Samenvatting

Het nauwkeurig waarnemen van de geometrische en semantische eigenschappen van 3D-objecten in de echte wereld is cruciaal voor de verdere ontwikkeling van augmented reality en robotica-toepassingen. Hiertoe presenteren wij (), dat vision-language embeddings van foundation models integreert in 3D Gaussian Splatting (GS). De belangrijkste bijdrage van dit werk is een efficiënte methode om 3D vision-language modellen te reconstrueren en te representeren. Dit wordt bereikt door feature maps gegenereerd uit op afbeeldingen gebaseerde foundation models te destilleren in die welke worden gerenderd vanuit ons 3D-model. Om hoogwaardige rendering en snelle training te garanderen, introduceren we een nieuwe scène-representatie door sterke punten van zowel GS als multi-resolution hash encodings (MHE) te combineren. Onze effectieve trainingsprocedure introduceert ook een pixel alignment loss die ervoor zorgt dat de gerenderde feature-afstand van dezelfde semantische entiteiten dichtbij blijft, in overeenstemming met de pixel-level semantische grenzen. Onze resultaten tonen opmerkelijke multi-view semantische consistentie, wat diverse downstream taken vergemakkelijkt, en verslaat state-of-the-art methoden met 10,2 procent op open-vocabulary taalgebaseerde objectdetectie, ondanks dat we 851 keer sneller zijn voor inferentie. Dit onderzoek verkent het snijvlak van visie, taal en 3D-scène-representatie, en baant de weg voor verbeterde scène-begrip in ongecontroleerde real-world omgevingen. We zijn van plan de code vrij te geven na acceptatie van het paper.

English

Precisely perceiving the geometric and semantic properties of real-world 3D objects is crucial for the continued evolution of augmented reality and robotic applications. To this end, we present (), which incorporates vision-language embeddings of foundation models into 3D Gaussian Splatting (GS). The key contribution of this work is an efficient method to reconstruct and represent 3D vision-language models. This is achieved by distilling feature maps generated from image-based foundation models into those rendered from our 3D model. To ensure high-quality rendering and fast training, we introduce a novel scene representation by integrating strengths from both GS and multi-resolution hash encodings (MHE). Our effective training procedure also introduces a pixel alignment loss that makes the rendered feature distance of same semantic entities close, following the pixel-level semantic boundaries. Our results demonstrate remarkable multi-view semantic consistency, facilitating diverse downstream tasks, beating state-of-the-art methods by 10.2 percent on open-vocabulary language-based object detection, despite that we are 851times faster for inference. This research explores the intersection of vision, language, and 3D scene representation, paving the way for enhanced scene understanding in uncontrolled real-world environments. We plan to release the code upon paper acceptance.