Klicken-Gauß: Interaktive Segmentierung zu beliebigen 3D-Gaußverteilungen

Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

July 16, 2024

Autoren: Seokhun Choi, Hyeonseop Song, Jaechul Kim, Taehyeong Kim, Hoseok Do

cs.AI

Zusammenfassung

Die interaktive Segmentierung von 3D-Gaußschen eröffnet dank der Echtzeit-Renderingfähigkeit von 3D-Gaußschem Splatting eine großartige Möglichkeit für die Echtzeitmanipulation von 3D-Szenen. Die aktuellen Methoden leiden jedoch unter zeitaufwändiger Nachbearbeitung zur Bewältigung des rauschigen Segmentierungsergebnisses. Zudem haben sie Schwierigkeiten, eine detaillierte Segmentierung bereitzustellen, die für die feinkörnige Manipulation von 3D-Szenen wichtig ist. In dieser Studie schlagen wir Click-Gaussian vor, das unterscheidbare Merkmalsfelder zweistufiger Granularität lernt, um eine Segmentierung ohne zeitaufwändige Nachbearbeitung zu ermöglichen. Wir gehen auf Herausforderungen ein, die sich aus inkonsistent erlernten Merkmalsfeldern ergeben, die aus einer unabhängig von einer 3D-Szene erhaltenen 2D-Segmentierung stammen. Die 3D-Segmentierungsgenauigkeit verschlechtert sich, wenn die 2D-Segmentierungsergebnisse über die Ansichten hinweg, die primären Hinweise für die 3D-Segmentierung, im Widerspruch stehen. Um diese Probleme zu überwinden, schlagen wir Global Feature-guided Learning (GFL) vor. GFL konstruiert die Cluster globaler Merkmalskandidaten aus rauschigen 2D-Segmenten über die Ansichten hinweg, was die Rauschen beim Training der Merkmale von 3D-Gaußschen glättet. Unsere Methode läuft in 10 ms pro Klick, 15 bis 130 Mal schneller als die vorherigen Methoden und verbessert gleichzeitig die Segmentierungsgenauigkeit signifikant. Unsere Projektseite ist unter https://seokhunchoi.github.io/Click-Gaussian verfügbar.

English

Interactive segmentation of 3D Gaussians opens a great opportunity for real-time manipulation of 3D scenes thanks to the real-time rendering capability of 3D Gaussian Splatting. However, the current methods suffer from time-consuming post-processing to deal with noisy segmentation output. Also, they struggle to provide detailed segmentation, which is important for fine-grained manipulation of 3D scenes. In this study, we propose Click-Gaussian, which learns distinguishable feature fields of two-level granularity, facilitating segmentation without time-consuming post-processing. We delve into challenges stemming from inconsistently learned feature fields resulting from 2D segmentation obtained independently from a 3D scene. 3D segmentation accuracy deteriorates when 2D segmentation results across the views, primary cues for 3D segmentation, are in conflict. To overcome these issues, we propose Global Feature-guided Learning (GFL). GFL constructs the clusters of global feature candidates from noisy 2D segments across the views, which smooths out noises when training the features of 3D Gaussians. Our method runs in 10 ms per click, 15 to 130 times as fast as the previous methods, while also significantly improving segmentation accuracy. Our project page is available at https://seokhunchoi.github.io/Click-Gaussian