3D 가우시안 분할

초록

방사체 필드에서의 인터랙티브 3D 세분화는 3D 장면 이해와 조작에서의 중요성으로 인해 매력적인 과제이다. 그러나 기존 방법들은 세밀한 다중 세분화를 달성하거나 상당한 계산 오버헤드를 처리하는 데 어려움을 겪으며, 실시간 상호작용을 방해한다. 본 논문에서는 2D 세분화 기반 모델과 최근 방사체 필드의 혁신인 3D 가우시안 스플래팅(3DGS)을 원활하게 결합한 새로운 3D 인터랙티브 세분화 접근법인 Segment Any 3D GAussians(SAGA)를 소개한다. SAGA는 세분화 기반 모델에 의해 생성된 다중 세분화 2D 세분화 결과를 잘 설계된 대조 학습을 통해 3D 가우시안 포인트 특징에 효율적으로 임베딩한다. 기존 벤치마크에서의 평가는 SAGA가 최신 방법들과 경쟁력 있는 성능을 달성할 수 있음을 보여준다. 또한, SAGA는 다중 세분화를 달성하고 점, 스크리블, 2D 마스크를 포함한 다양한 프롬프트를 수용한다. 특히, SAGA는 이전 SOTA 대비 거의 1000배의 가속을 달성하며 밀리초 단위로 3D 세분화를 완료할 수 있다. 프로젝트 페이지는 https://jumpat.github.io/SAGA에서 확인할 수 있다.

English

Interactive 3D segmentation in radiance fields is an appealing task since its importance in 3D scene understanding and manipulation. However, existing methods face challenges in either achieving fine-grained, multi-granularity segmentation or contending with substantial computational overhead, inhibiting real-time interaction. In this paper, we introduce Segment Any 3D GAussians (SAGA), a novel 3D interactive segmentation approach that seamlessly blends a 2D segmentation foundation model with 3D Gaussian Splatting (3DGS), a recent breakthrough of radiance fields. SAGA efficiently embeds multi-granularity 2D segmentation results generated by the segmentation foundation model into 3D Gaussian point features through well-designed contrastive training. Evaluation on existing benchmarks demonstrates that SAGA can achieve competitive performance with state-of-the-art methods. Moreover, SAGA achieves multi-granularity segmentation and accommodates various prompts, including points, scribbles, and 2D masks. Notably, SAGA can finish the 3D segmentation within milliseconds, achieving nearly 1000x acceleration compared to previous SOTA. The project page is at https://jumpat.github.io/SAGA.

3D 가우시안 분할

Segment Any 3D Gaussians

초록

Support