ObjectGS: Reconstrucción de Escenas con Conciencia de Objetos y Comprensión de Escenas mediante Splatting Gaussiano

ObjectGS: Object-aware Scene Reconstruction and Scene Understanding via Gaussian Splatting

July 21, 2025

Autores: Ruijie Zhu, Mulin Yu, Linning Xu, Lihan Jiang, Yixuan Li, Tianzhu Zhang, Jiangmiao Pang, Bo Dai

cs.AI

Resumen

El método 3D Gaussian Splatting es reconocido por sus reconstrucciones de alta fidelidad y su síntesis de nuevas vistas en tiempo real, aunque su falta de comprensión semántica limita la percepción a nivel de objetos. En este trabajo, proponemos ObjectGS, un marco orientado a objetos que unifica la reconstrucción de escenas 3D con la comprensión semántica. En lugar de tratar la escena como un todo unificado, ObjectGS modela objetos individuales como anclajes locales que generan Gaussianas neuronales y comparten identificadores de objeto, permitiendo una reconstrucción precisa a nivel de objetos. Durante el entrenamiento, crecemos o podamos dinámicamente estos anclajes y optimizamos sus características, mientras que una codificación one-hot de ID con una pérdida de clasificación impone restricciones semánticas claras. Demostramos mediante experimentos exhaustivos que ObjectGS no solo supera a los métodos más avanzados en tareas de segmentación de vocabulario abierto y panóptica, sino que también se integra perfectamente con aplicaciones como la extracción de mallas y la edición de escenas. Página del proyecto: https://ruijiezhu94.github.io/ObjectGS_page.

English

3D Gaussian Splatting is renowned for its high-fidelity reconstructions and real-time novel view synthesis, yet its lack of semantic understanding limits object-level perception. In this work, we propose ObjectGS, an object-aware framework that unifies 3D scene reconstruction with semantic understanding. Instead of treating the scene as a unified whole, ObjectGS models individual objects as local anchors that generate neural Gaussians and share object IDs, enabling precise object-level reconstruction. During training, we dynamically grow or prune these anchors and optimize their features, while a one-hot ID encoding with a classification loss enforces clear semantic constraints. We show through extensive experiments that ObjectGS not only outperforms state-of-the-art methods on open-vocabulary and panoptic segmentation tasks, but also integrates seamlessly with applications like mesh extraction and scene editing. Project page: https://ruijiezhu94.github.io/ObjectGS_page