FMGS: Splatting Gaussiano 3D con Modello Fondazionale Integrato per la Comprensione Olistica della Scena 3D

FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding

January 3, 2024

Autori: Xingxing Zuo, Pouya Samangouei, Yunwen Zhou, Yan Di, Mingyang Li

cs.AI

Abstract

Percepire con precisione le proprietà geometriche e semantiche degli oggetti 3D del mondo reale è cruciale per l'evoluzione continua delle applicazioni di realtà aumentata e robotica. A tal fine, presentiamo (), che incorpora gli embedding visione-linguaggio dei modelli di base nel 3D Gaussian Splatting (GS). Il contributo chiave di questo lavoro è un metodo efficiente per ricostruire e rappresentare modelli 3D visione-linguaggio. Questo è ottenuto distillando le mappe di caratteristiche generate da modelli di base basati su immagini in quelle renderizzate dal nostro modello 3D. Per garantire un rendering di alta qualità e un addestramento rapido, introduciamo una nuova rappresentazione della scena integrando i punti di forza sia di GS che delle codifiche hash a multi-risoluzione (MHE). La nostra procedura di addestramento efficace introduce anche una perdita di allineamento dei pixel che rende vicina la distanza delle caratteristiche renderizzate delle stesse entità semantiche, seguendo i confini semantici a livello di pixel. I nostri risultati dimostrano una notevole coerenza semantica multi-vista, facilitando diverse attività downstream, superando i metodi all'avanguardia del 10,2 percento nel rilevamento di oggetti basato su linguaggio a vocabolario aperto, nonostante siamo 851 volte più veloci nell'inferenza. Questa ricerca esplora l'intersezione tra visione, linguaggio e rappresentazione di scene 3D, aprendo la strada a una migliore comprensione delle scene in ambienti reali non controllati. Prevediamo di rilasciare il codice all'accettazione del documento.

English

Precisely perceiving the geometric and semantic properties of real-world 3D objects is crucial for the continued evolution of augmented reality and robotic applications. To this end, we present (), which incorporates vision-language embeddings of foundation models into 3D Gaussian Splatting (GS). The key contribution of this work is an efficient method to reconstruct and represent 3D vision-language models. This is achieved by distilling feature maps generated from image-based foundation models into those rendered from our 3D model. To ensure high-quality rendering and fast training, we introduce a novel scene representation by integrating strengths from both GS and multi-resolution hash encodings (MHE). Our effective training procedure also introduces a pixel alignment loss that makes the rendered feature distance of same semantic entities close, following the pixel-level semantic boundaries. Our results demonstrate remarkable multi-view semantic consistency, facilitating diverse downstream tasks, beating state-of-the-art methods by 10.2 percent on open-vocabulary language-based object detection, despite that we are 851times faster for inference. This research explores the intersection of vision, language, and 3D scene representation, paving the way for enhanced scene understanding in uncontrolled real-world environments. We plan to release the code upon paper acceptance.