Segmenter des Gaussiennes 3D Quelconques

Segment Any 3D Gaussians

December 1, 2023

Auteurs: Jiazhong Cen, Jiemin Fang, Chen Yang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian

cs.AI

Résumé

La segmentation interactive 3D dans les champs de radiance est une tâche attrayante en raison de son importance dans la compréhension et la manipulation de scènes 3D. Cependant, les méthodes existantes rencontrent des difficultés pour atteindre une segmentation fine et multi-granularité ou pour gérer une surcharge computationnelle importante, ce qui empêche une interaction en temps réel. Dans cet article, nous présentons Segment Any 3D GAussians (SAGA), une nouvelle approche de segmentation interactive 3D qui intègre harmonieusement un modèle de base de segmentation 2D avec le Gaussian Splatting 3D (3DGS), une avancée récente dans les champs de radiance. SAGA intègre efficacement les résultats de segmentation 2D multi-granularité générés par le modèle de base de segmentation dans les caractéristiques de points gaussiens 3D grâce à un entraînement contrastif bien conçu. L'évaluation sur des benchmarks existants montre que SAGA peut atteindre des performances compétitives avec les méthodes de pointe. De plus, SAGA réalise une segmentation multi-granularité et s'adapte à divers prompts, y compris des points, des gribouillis et des masques 2D. Notamment, SAGA peut terminer la segmentation 3D en quelques millisecondes, atteignant une accélération de près de 1000x par rapport aux précédents SOTA. La page du projet est disponible à l'adresse https://jumpat.github.io/SAGA.

English

Interactive 3D segmentation in radiance fields is an appealing task since its importance in 3D scene understanding and manipulation. However, existing methods face challenges in either achieving fine-grained, multi-granularity segmentation or contending with substantial computational overhead, inhibiting real-time interaction. In this paper, we introduce Segment Any 3D GAussians (SAGA), a novel 3D interactive segmentation approach that seamlessly blends a 2D segmentation foundation model with 3D Gaussian Splatting (3DGS), a recent breakthrough of radiance fields. SAGA efficiently embeds multi-granularity 2D segmentation results generated by the segmentation foundation model into 3D Gaussian point features through well-designed contrastive training. Evaluation on existing benchmarks demonstrates that SAGA can achieve competitive performance with state-of-the-art methods. Moreover, SAGA achieves multi-granularity segmentation and accommodates various prompts, including points, scribbles, and 2D masks. Notably, SAGA can finish the 3D segmentation within milliseconds, achieving nearly 1000x acceleration compared to previous SOTA. The project page is at https://jumpat.github.io/SAGA.