Segmenta Qualsiasi Gaussiana 3D

Segment Any 3D Gaussians

December 1, 2023

Autori: Jiazhong Cen, Jiemin Fang, Chen Yang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian

cs.AI

Abstract

La segmentazione interattiva 3D nei campi di radianza è un compito affascinante data la sua importanza nella comprensione e manipolazione delle scene 3D. Tuttavia, i metodi esistenti affrontano sfide nel raggiungere una segmentazione fine e multi-granularità o nel gestire un sovraccarico computazionale significativo, impedendo un'interazione in tempo reale. In questo articolo, introduciamo Segment Any 3D GAussians (SAGA), un nuovo approccio di segmentazione interattiva 3D che combina armoniosamente un modello di base di segmentazione 2D con il 3D Gaussian Splatting (3DGS), una recente innovazione nei campi di radianza. SAGA incorpora in modo efficiente i risultati di segmentazione 2D multi-granularità generati dal modello di base di segmentazione nelle caratteristiche dei punti 3D Gaussian attraverso un addestramento contrastivo ben progettato. La valutazione su benchmark esistenti dimostra che SAGA può raggiungere prestazioni competitive con i metodi all'avanguardia. Inoltre, SAGA realizza una segmentazione multi-granularità e si adatta a vari prompt, inclusi punti, scarabocchi e maschere 2D. È degno di nota che SAGA possa completare la segmentazione 3D in millisecondi, ottenendo un'accelerazione di quasi 1000x rispetto ai precedenti SOTA. La pagina del progetto è disponibile all'indirizzo https://jumpat.github.io/SAGA.

English

Interactive 3D segmentation in radiance fields is an appealing task since its importance in 3D scene understanding and manipulation. However, existing methods face challenges in either achieving fine-grained, multi-granularity segmentation or contending with substantial computational overhead, inhibiting real-time interaction. In this paper, we introduce Segment Any 3D GAussians (SAGA), a novel 3D interactive segmentation approach that seamlessly blends a 2D segmentation foundation model with 3D Gaussian Splatting (3DGS), a recent breakthrough of radiance fields. SAGA efficiently embeds multi-granularity 2D segmentation results generated by the segmentation foundation model into 3D Gaussian point features through well-designed contrastive training. Evaluation on existing benchmarks demonstrates that SAGA can achieve competitive performance with state-of-the-art methods. Moreover, SAGA achieves multi-granularity segmentation and accommodates various prompts, including points, scribbles, and 2D masks. Notably, SAGA can finish the 3D segmentation within milliseconds, achieving nearly 1000x acceleration compared to previous SOTA. The project page is at https://jumpat.github.io/SAGA.