Segmentar Qualquer Gaussiana 3D

Segment Any 3D Gaussians

December 1, 2023

Autores: Jiazhong Cen, Jiemin Fang, Chen Yang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian

cs.AI

Resumo

A segmentação interativa 3D em campos de radiação é uma tarefa atraente devido à sua importância na compreensão e manipulação de cenas 3D. No entanto, os métodos existentes enfrentam desafios para alcançar segmentação refinada e multigranular ou para lidar com a sobrecarga computacional significativa, o que impede a interação em tempo real. Neste artigo, apresentamos o Segment Any 3D GAussians (SAGA), uma nova abordagem de segmentação interativa 3D que integra de forma harmoniosa um modelo de segmentação 2D com o Gaussian Splatting 3D (3DGS), um avanço recente em campos de radiação. O SAGA incorpora eficientemente os resultados de segmentação 2D multigranular gerados pelo modelo de segmentação em características de pontos Gaussianos 3D por meio de um treinamento contrastivo bem projetado. A avaliação em benchmarks existentes demonstra que o SAGA pode alcançar desempenho competitivo com os métodos state-of-the-art. Além disso, o SAGA realiza segmentação multigranular e acomoda vários tipos de prompts, incluindo pontos, rabiscos e máscaras 2D. Notavelmente, o SAGA pode concluir a segmentação 3D em milissegundos, alcançando uma aceleração de quase 1000x em comparação com os métodos SOTA anteriores. A página do projeto está disponível em https://jumpat.github.io/SAGA.

English

Interactive 3D segmentation in radiance fields is an appealing task since its importance in 3D scene understanding and manipulation. However, existing methods face challenges in either achieving fine-grained, multi-granularity segmentation or contending with substantial computational overhead, inhibiting real-time interaction. In this paper, we introduce Segment Any 3D GAussians (SAGA), a novel 3D interactive segmentation approach that seamlessly blends a 2D segmentation foundation model with 3D Gaussian Splatting (3DGS), a recent breakthrough of radiance fields. SAGA efficiently embeds multi-granularity 2D segmentation results generated by the segmentation foundation model into 3D Gaussian point features through well-designed contrastive training. Evaluation on existing benchmarks demonstrates that SAGA can achieve competitive performance with state-of-the-art methods. Moreover, SAGA achieves multi-granularity segmentation and accommodates various prompts, including points, scribbles, and 2D masks. Notably, SAGA can finish the 3D segmentation within milliseconds, achieving nearly 1000x acceleration compared to previous SOTA. The project page is at https://jumpat.github.io/SAGA.