Click-Gaussian : Segmentation interactive vers n'importe quel modèle 3D de Gaussiennes

Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

July 16, 2024

Auteurs: Seokhun Choi, Hyeonseop Song, Jaechul Kim, Taehyeong Kim, Hoseok Do

cs.AI

Résumé

La segmentation interactive de Gaussiennes 3D ouvre une opportunité remarquable pour la manipulation en temps réel de scènes 3D, grâce à la capacité de rendu en temps réel offerte par la technique de "3D Gaussian Splatting". Cependant, les méthodes actuelles souffrent d'un post-traitement chronophage pour gérer les sorties de segmentation bruyantes. De plus, elles peinent à fournir une segmentation détaillée, essentielle pour une manipulation fine des scènes 3D. Dans cette étude, nous proposons Click-Gaussian, qui apprend des champs de caractéristiques distinguables à deux niveaux de granularité, facilitant la segmentation sans post-traitement long. Nous explorons les défis découlant de champs de caractéristiques appris de manière incohérente, résultant d'une segmentation 2D obtenue indépendamment d'une scène 3D. La précision de la segmentation 3D se détériore lorsque les résultats de segmentation 2D à travers les différentes vues, indices principaux pour la segmentation 3D, sont en conflit. Pour surmonter ces problèmes, nous proposons l'apprentissage guidé par caractéristiques globales (GFL). GFL construit des clusters de candidats de caractéristiques globales à partir de segments 2D bruyants à travers les vues, ce qui atténue les bruits lors de l'apprentissage des caractéristiques des Gaussiennes 3D. Notre méthode s'exécute en 10 ms par clic, soit 15 à 130 fois plus rapide que les méthodes précédentes, tout en améliorant significativement la précision de la segmentation. Notre page de projet est disponible à l'adresse suivante : https://seokhunchoi.github.io/Click-Gaussian.

English

Interactive segmentation of 3D Gaussians opens a great opportunity for real-time manipulation of 3D scenes thanks to the real-time rendering capability of 3D Gaussian Splatting. However, the current methods suffer from time-consuming post-processing to deal with noisy segmentation output. Also, they struggle to provide detailed segmentation, which is important for fine-grained manipulation of 3D scenes. In this study, we propose Click-Gaussian, which learns distinguishable feature fields of two-level granularity, facilitating segmentation without time-consuming post-processing. We delve into challenges stemming from inconsistently learned feature fields resulting from 2D segmentation obtained independently from a 3D scene. 3D segmentation accuracy deteriorates when 2D segmentation results across the views, primary cues for 3D segmentation, are in conflict. To overcome these issues, we propose Global Feature-guided Learning (GFL). GFL constructs the clusters of global feature candidates from noisy 2D segments across the views, which smooths out noises when training the features of 3D Gaussians. Our method runs in 10 ms per click, 15 to 130 times as fast as the previous methods, while also significantly improving segmentation accuracy. Our project page is available at https://seokhunchoi.github.io/Click-Gaussian