ObjectGS: Reconstrução de Cenas com Consciência de Objetos e Compreensão de Cenas via Splatting Gaussiano

ObjectGS: Object-aware Scene Reconstruction and Scene Understanding via Gaussian Splatting

July 21, 2025

Autores: Ruijie Zhu, Mulin Yu, Linning Xu, Lihan Jiang, Yixuan Li, Tianzhu Zhang, Jiangmiao Pang, Bo Dai

cs.AI

Resumo

O 3D Gaussian Splatting é reconhecido por suas reconstruções de alta fidelidade e síntese de novas visões em tempo real, porém sua falta de compreensão semântica limita a percepção em nível de objeto. Neste trabalho, propomos o ObjectGS, um framework consciente de objetos que unifica a reconstrução de cenas 3D com o entendimento semântico. Em vez de tratar a cena como um todo unificado, o ObjectGS modela objetos individuais como âncoras locais que geram Gaussianas neurais e compartilham IDs de objetos, permitindo uma reconstrução precisa em nível de objeto. Durante o treinamento, dinamicamente expandimos ou podamos essas âncoras e otimizamos suas características, enquanto uma codificação one-hot de ID com uma função de perda de classificação impõe restrições semânticas claras. Através de extensos experimentos, demonstramos que o ObjectGS não apenas supera os métodos state-of-the-art em tarefas de segmentação de vocabulário aberto e panóptica, mas também se integra perfeitamente com aplicações como extração de malhas e edição de cenas. Página do projeto: https://ruijiezhu94.github.io/ObjectGS_page

English

3D Gaussian Splatting is renowned for its high-fidelity reconstructions and real-time novel view synthesis, yet its lack of semantic understanding limits object-level perception. In this work, we propose ObjectGS, an object-aware framework that unifies 3D scene reconstruction with semantic understanding. Instead of treating the scene as a unified whole, ObjectGS models individual objects as local anchors that generate neural Gaussians and share object IDs, enabling precise object-level reconstruction. During training, we dynamically grow or prune these anchors and optimize their features, while a one-hot ID encoding with a classification loss enforces clear semantic constraints. We show through extensive experiments that ObjectGS not only outperforms state-of-the-art methods on open-vocabulary and panoptic segmentation tasks, but also integrates seamlessly with applications like mesh extraction and scene editing. Project page: https://ruijiezhu94.github.io/ObjectGS_page