ObjectGS: Ricostruzione della Scena Consapevole degli Oggetti e Comprensione della Scena tramite Gaussian Splatting

ObjectGS: Object-aware Scene Reconstruction and Scene Understanding via Gaussian Splatting

July 21, 2025

Autori: Ruijie Zhu, Mulin Yu, Linning Xu, Lihan Jiang, Yixuan Li, Tianzhu Zhang, Jiangmiao Pang, Bo Dai

cs.AI

Abstract

Il 3D Gaussian Splatting è rinomato per le sue ricostruzioni ad alta fedeltà e la sintesi in tempo reale di nuove visualizzazioni, ma la mancanza di comprensione semantica limita la percezione a livello di oggetto. In questo lavoro, proponiamo ObjectGS, un framework consapevole degli oggetti che unisce la ricostruzione di scene 3D con la comprensione semantica. Invece di trattare la scena come un insieme unificato, ObjectGS modella i singoli oggetti come ancore locali che generano Gaussiane neurali e condividono ID di oggetto, consentendo una ricostruzione precisa a livello di oggetto. Durante l'addestramento, espandiamo o potiamo dinamicamente queste ancore e ottimizziamo le loro caratteristiche, mentre una codifica one-hot ID con una perdita di classificazione impone chiari vincoli semantici. Attraverso esperimenti estensivi, dimostriamo che ObjectGS non solo supera i metodi all'avanguardia nei compiti di segmentazione open-vocabulary e panottica, ma si integra perfettamente con applicazioni come l'estrazione di mesh e la modifica delle scene. Pagina del progetto: https://ruijiezhu94.github.io/ObjectGS_page

English

3D Gaussian Splatting is renowned for its high-fidelity reconstructions and real-time novel view synthesis, yet its lack of semantic understanding limits object-level perception. In this work, we propose ObjectGS, an object-aware framework that unifies 3D scene reconstruction with semantic understanding. Instead of treating the scene as a unified whole, ObjectGS models individual objects as local anchors that generate neural Gaussians and share object IDs, enabling precise object-level reconstruction. During training, we dynamically grow or prune these anchors and optimize their features, while a one-hot ID encoding with a classification loss enforces clear semantic constraints. We show through extensive experiments that ObjectGS not only outperforms state-of-the-art methods on open-vocabulary and panoptic segmentation tasks, but also integrates seamlessly with applications like mesh extraction and scene editing. Project page: https://ruijiezhu94.github.io/ObjectGS_page