ObjectGS: ガウススプラッティングによるオブジェクト認識を伴うシーン再構築とシーン理解

要旨

3Dガウシアンスプラッティングは、その高忠実度な再構成とリアルタイムの新視点合成で知られているが、意味理解の欠如がオブジェクトレベルの知覚を制限している。本研究では、3Dシーン再構成と意味理解を統合するオブジェクト認識フレームワークであるObjectGSを提案する。ObjectGSは、シーンを統一された全体として扱うのではなく、個々のオブジェクトをローカルアンカーとしてモデル化し、ニューラルガウシアンを生成し、オブジェクトIDを共有することで、精密なオブジェクトレベル再構成を可能にする。トレーニング中、これらのアンカーを動的に成長または剪定し、その特徴を最適化する一方で、ワンホットIDエンコーディングと分類損失が明確な意味的制約を課す。広範な実験を通じて、ObjectGSがオープン語彙およびパノプティックセグメンテーションタスクにおいて最先端の手法を上回るだけでなく、メッシュ抽出やシーン編集などのアプリケーションとシームレスに統合することを示す。プロジェクトページ: https://ruijiezhu94.github.io/ObjectGS_page

English

3D Gaussian Splatting is renowned for its high-fidelity reconstructions and real-time novel view synthesis, yet its lack of semantic understanding limits object-level perception. In this work, we propose ObjectGS, an object-aware framework that unifies 3D scene reconstruction with semantic understanding. Instead of treating the scene as a unified whole, ObjectGS models individual objects as local anchors that generate neural Gaussians and share object IDs, enabling precise object-level reconstruction. During training, we dynamically grow or prune these anchors and optimize their features, while a one-hot ID encoding with a classification loss enforces clear semantic constraints. We show through extensive experiments that ObjectGS not only outperforms state-of-the-art methods on open-vocabulary and panoptic segmentation tasks, but also integrates seamlessly with applications like mesh extraction and scene editing. Project page: https://ruijiezhu94.github.io/ObjectGS_page

ObjectGS: ガウススプラッティングによるオブジェクト認識を伴うシーン再構築とシーン理解

ObjectGS: Object-aware Scene Reconstruction and Scene Understanding via Gaussian Splatting

要旨

Support