Click-Gaussian: Interactieve Segmentatie naar Willekeurige 3D Gaussians

Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

July 16, 2024

Auteurs: Seokhun Choi, Hyeonseop Song, Jaechul Kim, Taehyeong Kim, Hoseok Do

cs.AI

Samenvatting

Interactieve segmentatie van 3D Gaussians biedt een grote mogelijkheid voor real-time manipulatie van 3D-scènes dankzij de real-time renderingcapaciteit van 3D Gaussian Splatting. De huidige methoden hebben echter te maken met tijdrovende nabewerking om om te gaan met ruis in de segmentatie-uitvoer. Bovendien slagen ze er niet in om gedetailleerde segmentatie te bieden, wat belangrijk is voor fijnmazige manipulatie van 3D-scènes. In deze studie stellen we Click-Gaussian voor, dat onderscheidende kenmerkvelden van twee niveaus van granulariteit leert, waardoor segmentatie mogelijk wordt zonder tijdrovende nabewerking. We verdiepen ons in uitdagingen die voortkomen uit inconsistente geleerde kenmerkvelden als gevolg van 2D-segmentatie die onafhankelijk van een 3D-scène wordt verkregen. De nauwkeurigheid van 3D-segmentatie verslechtert wanneer 2D-segmentatieresultaten over de verschillende aanzichten, de primaire aanwijzingen voor 3D-segmentatie, met elkaar in conflict zijn. Om deze problemen te overwinnen, stellen we Global Feature-guided Learning (GFL) voor. GFL construeert clusters van globale kenmerkkandidaten uit ruisachtige 2D-segmenten over de verschillende aanzichten, wat de ruis vermindert bij het trainen van de kenmerken van 3D Gaussians. Onze methode werkt in 10 ms per klik, 15 tot 130 keer zo snel als de vorige methoden, en verbetert tegelijkertijd de segmentatienauwkeurigheid aanzienlijk. Onze projectpagina is beschikbaar op https://seokhunchoi.github.io/Click-Gaussian.

English

Interactive segmentation of 3D Gaussians opens a great opportunity for real-time manipulation of 3D scenes thanks to the real-time rendering capability of 3D Gaussian Splatting. However, the current methods suffer from time-consuming post-processing to deal with noisy segmentation output. Also, they struggle to provide detailed segmentation, which is important for fine-grained manipulation of 3D scenes. In this study, we propose Click-Gaussian, which learns distinguishable feature fields of two-level granularity, facilitating segmentation without time-consuming post-processing. We delve into challenges stemming from inconsistently learned feature fields resulting from 2D segmentation obtained independently from a 3D scene. 3D segmentation accuracy deteriorates when 2D segmentation results across the views, primary cues for 3D segmentation, are in conflict. To overcome these issues, we propose Global Feature-guided Learning (GFL). GFL constructs the clusters of global feature candidates from noisy 2D segments across the views, which smooths out noises when training the features of 3D Gaussians. Our method runs in 10 ms per click, 15 to 130 times as fast as the previous methods, while also significantly improving segmentation accuracy. Our project page is available at https://seokhunchoi.github.io/Click-Gaussian