Segmenteren van Willekeurige 3D Gaussische Verdelingen

Segment Any 3D Gaussians

December 1, 2023

Auteurs: Jiazhong Cen, Jiemin Fang, Chen Yang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian

cs.AI

Samenvatting

Interactieve 3D-segmentatie in radiance fields is een aantrekkelijke taak vanwege het belang ervan in 3D-scènebegrip en -manipulatie. Bestaande methoden kampen echter met uitdagingen, zoals het bereiken van fijnmazige, multi-granulariteit segmentatie of het omgaan met aanzienlijke rekenkosten, wat real-time interactie belemmert. In dit artikel introduceren we Segment Any 3D GAussians (SAGA), een nieuwe benadering voor interactieve 3D-segmentatie die naadloos een 2D-segmentatie foundation model combineert met 3D Gaussian Splatting (3DGS), een recente doorbraak in radiance fields. SAGA integreert efficiënt multi-granulariteit 2D-segmentatieresultaten, gegenereerd door het segmentatie foundation model, in 3D Gaussiaanse puntkenmerken via goed ontworpen contrastieve training. Evaluatie op bestaande benchmarks toont aan dat SAGA competitieve prestaties kan bereiken met state-of-the-art methoden. Bovendien bereikt SAGA multi-granulariteit segmentatie en ondersteunt het diverse prompts, waaronder punten, krabbels en 2D-maskers. Opmerkelijk is dat SAGA de 3D-segmentatie binnen milliseconden kan voltooien, wat een versnelling van bijna 1000x oplevert vergeleken met eerdere SOTA. De projectpagina is te vinden op https://jumpat.github.io/SAGA.

English

Interactive 3D segmentation in radiance fields is an appealing task since its importance in 3D scene understanding and manipulation. However, existing methods face challenges in either achieving fine-grained, multi-granularity segmentation or contending with substantial computational overhead, inhibiting real-time interaction. In this paper, we introduce Segment Any 3D GAussians (SAGA), a novel 3D interactive segmentation approach that seamlessly blends a 2D segmentation foundation model with 3D Gaussian Splatting (3DGS), a recent breakthrough of radiance fields. SAGA efficiently embeds multi-granularity 2D segmentation results generated by the segmentation foundation model into 3D Gaussian point features through well-designed contrastive training. Evaluation on existing benchmarks demonstrates that SAGA can achieve competitive performance with state-of-the-art methods. Moreover, SAGA achieves multi-granularity segmentation and accommodates various prompts, including points, scribbles, and 2D masks. Notably, SAGA can finish the 3D segmentation within milliseconds, achieving nearly 1000x acceleration compared to previous SOTA. The project page is at https://jumpat.github.io/SAGA.