ObjectGS: Objectbewuste Scène-reconstructie en Scène-begrip via Gaussische Splatting
ObjectGS: Object-aware Scene Reconstruction and Scene Understanding via Gaussian Splatting
July 21, 2025
Auteurs: Ruijie Zhu, Mulin Yu, Linning Xu, Lihan Jiang, Yixuan Li, Tianzhu Zhang, Jiangmiao Pang, Bo Dai
cs.AI
Samenvatting
3D Gaussian Splatting staat bekend om zijn hoogwaardige reconstructies en real-time synthese van nieuwe gezichtspunten, maar het ontbreken van semantisch begrip beperkt de objectniveau-perceptie. In dit werk stellen we ObjectGS voor, een objectbewust raamwerk dat 3D-scènereconstructie verenigt met semantisch begrip. In plaats van de scène als een geheel te behandelen, modelleert ObjectGS individuele objecten als lokale ankers die neurale Gaussians genereren en object-ID's delen, wat een precieze reconstructie op objectniveau mogelijk maakt. Tijdens de training breiden we deze ankers dynamisch uit of snoeien ze, en optimaliseren we hun kenmerken, terwijl een one-hot ID-codering met een classificatieverlies duidelijke semantische beperkingen afdwingt. We tonen door middel van uitgebreide experimenten aan dat ObjectGS niet alleen state-of-the-art methoden overtreft op taken zoals open-vocabulary en panoptische segmentatie, maar ook naadloos integreert met toepassingen zoals meshextractie en scènebewerking. Projectpagina: https://ruijiezhu94.github.io/ObjectGS_page
English
3D Gaussian Splatting is renowned for its high-fidelity reconstructions and
real-time novel view synthesis, yet its lack of semantic understanding limits
object-level perception. In this work, we propose ObjectGS, an object-aware
framework that unifies 3D scene reconstruction with semantic understanding.
Instead of treating the scene as a unified whole, ObjectGS models individual
objects as local anchors that generate neural Gaussians and share object IDs,
enabling precise object-level reconstruction. During training, we dynamically
grow or prune these anchors and optimize their features, while a one-hot ID
encoding with a classification loss enforces clear semantic constraints. We
show through extensive experiments that ObjectGS not only outperforms
state-of-the-art methods on open-vocabulary and panoptic segmentation tasks,
but also integrates seamlessly with applications like mesh extraction and scene
editing. Project page: https://ruijiezhu94.github.io/ObjectGS_page