Segmentiere beliebige 3D-Gauss-Verteilungen

Segment Any 3D Gaussians

December 1, 2023

Autoren: Jiazhong Cen, Jiemin Fang, Chen Yang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian

cs.AI

Zusammenfassung

Interaktive 3D-Segmentierung in Radiance Fields ist eine ansprechende Aufgabe, da sie für das Verständnis und die Manipulation von 3D-Szenen von großer Bedeutung ist. Allerdings stehen bestehende Methoden vor Herausforderungen, entweder feinkörnige, multi-granulare Segmentierung zu erreichen oder mit erheblichem Rechenaufwand umzugehen, was Echtzeit-Interaktionen verhindert. In diesem Artikel stellen wir Segment Any 3D GAussians (SAGA) vor, einen neuartigen Ansatz zur interaktiven 3D-Segmentierung, der nahtlos ein 2D-Segmentierungs-Grundmodell mit 3D Gaussian Splatting (3DGS), einem kürzlichen Durchbruch in Radiance Fields, verbindet. SAGA integriert effizient multi-granulare 2D-Segmentierungsergebnisse, die vom Segmentierungs-Grundmodell generiert werden, durch gut durchdachtes kontrastives Training in 3D-Gaußsche Punktmerkmale. Die Auswertung auf bestehenden Benchmarks zeigt, dass SAGA eine wettbewerbsfähige Leistung im Vergleich zu state-of-the-art Methoden erzielen kann. Darüber hinaus ermöglicht SAGA multi-granulare Segmentierung und unterstützt verschiedene Eingabeformen, einschließlich Punkte, Scribbles und 2D-Masken. Bemerkenswert ist, dass SAGA die 3D-Segmentierung in Millisekunden abschließen kann, was eine Beschleunigung um fast das 1000-fache im Vergleich zu früheren SOTA-Methoden darstellt. Die Projektseite befindet sich unter https://jumpat.github.io/SAGA.

English

Interactive 3D segmentation in radiance fields is an appealing task since its importance in 3D scene understanding and manipulation. However, existing methods face challenges in either achieving fine-grained, multi-granularity segmentation or contending with substantial computational overhead, inhibiting real-time interaction. In this paper, we introduce Segment Any 3D GAussians (SAGA), a novel 3D interactive segmentation approach that seamlessly blends a 2D segmentation foundation model with 3D Gaussian Splatting (3DGS), a recent breakthrough of radiance fields. SAGA efficiently embeds multi-granularity 2D segmentation results generated by the segmentation foundation model into 3D Gaussian point features through well-designed contrastive training. Evaluation on existing benchmarks demonstrates that SAGA can achieve competitive performance with state-of-the-art methods. Moreover, SAGA achieves multi-granularity segmentation and accommodates various prompts, including points, scribbles, and 2D masks. Notably, SAGA can finish the 3D segmentation within milliseconds, achieving nearly 1000x acceleration compared to previous SOTA. The project page is at https://jumpat.github.io/SAGA.