ObjectGS : Reconstruction de scène et compréhension contextuelle centrées sur les objets via le lissage gaussien

ObjectGS: Object-aware Scene Reconstruction and Scene Understanding via Gaussian Splatting

July 21, 2025

papers.authors: Ruijie Zhu, Mulin Yu, Linning Xu, Lihan Jiang, Yixuan Li, Tianzhu Zhang, Jiangmiao Pang, Bo Dai

cs.AI

papers.abstract

La méthode 3D Gaussian Splatting est reconnue pour ses reconstructions haute fidélité et sa synthèse de nouvelles vues en temps réel, mais son manque de compréhension sémantique limite la perception au niveau des objets. Dans ce travail, nous proposons ObjectGS, un cadre orienté objet qui unifie la reconstruction de scènes 3D avec la compréhension sémantique. Plutôt que de traiter la scène comme un tout unifié, ObjectGS modélise les objets individuels comme des ancres locales qui génèrent des Gaussiennes neuronales et partagent des identifiants d'objet, permettant une reconstruction précise au niveau des objets. Pendant l'entraînement, nous faisons croître ou élaguons dynamiquement ces ancres et optimisons leurs caractéristiques, tandis qu'un encodage d'identifiant one-hot avec une perte de classification impose des contraintes sémantiques claires. Nous démontrons à travers des expériences approfondies qu'ObjectGS surpasse non seulement les méthodes de pointe dans les tâches de segmentation ouverte et panoptique, mais s'intègre également de manière transparente avec des applications comme l'extraction de maillages et l'édition de scènes. Page du projet : https://ruijiezhu94.github.io/ObjectGS_page

English

3D Gaussian Splatting is renowned for its high-fidelity reconstructions and real-time novel view synthesis, yet its lack of semantic understanding limits object-level perception. In this work, we propose ObjectGS, an object-aware framework that unifies 3D scene reconstruction with semantic understanding. Instead of treating the scene as a unified whole, ObjectGS models individual objects as local anchors that generate neural Gaussians and share object IDs, enabling precise object-level reconstruction. During training, we dynamically grow or prune these anchors and optimize their features, while a one-hot ID encoding with a classification loss enforces clear semantic constraints. We show through extensive experiments that ObjectGS not only outperforms state-of-the-art methods on open-vocabulary and panoptic segmentation tasks, but also integrates seamlessly with applications like mesh extraction and scene editing. Project page: https://ruijiezhu94.github.io/ObjectGS_page