Click-Gaussian: Segmentazione Interattiva per Qualsiasi Gaussiana 3D

Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

July 16, 2024

Autori: Seokhun Choi, Hyeonseop Song, Jaechul Kim, Taehyeong Kim, Hoseok Do

cs.AI

Abstract

La segmentazione interattiva delle Gaussiane 3D apre grandi opportunità per la manipolazione in tempo reale di scene 3D, grazie alla capacità di rendering in tempo reale offerta dalla tecnica di 3D Gaussian Splatting. Tuttavia, i metodi attuali richiedono un post-processing dispendioso in termini di tempo per gestire l'output rumoroso della segmentazione. Inoltre, faticano a fornire una segmentazione dettagliata, essenziale per una manipolazione fine delle scene 3D. In questo studio, proponiamo Click-Gaussian, che apprende campi di caratteristiche distinguibili a due livelli di granularità, facilitando la segmentazione senza la necessità di un post-processing lungo. Approfondiamo le sfide derivanti da campi di caratteristiche appresi in modo incoerente, risultanti da segmentazioni 2D ottenute indipendentemente da una scena 3D. L'accuratezza della segmentazione 3D si deteriora quando i risultati della segmentazione 2D tra le diverse viste, che sono i principali indizi per la segmentazione 3D, sono in conflitto. Per superare questi problemi, proponiamo il Global Feature-guided Learning (GFL). Il GFL costruisce cluster di candidati per le caratteristiche globali a partire da segmenti 2D rumorosi tra le diverse viste, attenuando il rumore durante l'addestramento delle caratteristiche delle Gaussiane 3D. Il nostro metodo opera in 10 ms per clic, da 15 a 130 volte più veloce rispetto ai metodi precedenti, migliorando significativamente anche l'accuratezza della segmentazione. La pagina del nostro progetto è disponibile all'indirizzo https://seokhunchoi.github.io/Click-Gaussian.

English

Interactive segmentation of 3D Gaussians opens a great opportunity for real-time manipulation of 3D scenes thanks to the real-time rendering capability of 3D Gaussian Splatting. However, the current methods suffer from time-consuming post-processing to deal with noisy segmentation output. Also, they struggle to provide detailed segmentation, which is important for fine-grained manipulation of 3D scenes. In this study, we propose Click-Gaussian, which learns distinguishable feature fields of two-level granularity, facilitating segmentation without time-consuming post-processing. We delve into challenges stemming from inconsistently learned feature fields resulting from 2D segmentation obtained independently from a 3D scene. 3D segmentation accuracy deteriorates when 2D segmentation results across the views, primary cues for 3D segmentation, are in conflict. To overcome these issues, we propose Global Feature-guided Learning (GFL). GFL constructs the clusters of global feature candidates from noisy 2D segments across the views, which smooths out noises when training the features of 3D Gaussians. Our method runs in 10 ms per click, 15 to 130 times as fast as the previous methods, while also significantly improving segmentation accuracy. Our project page is available at https://seokhunchoi.github.io/Click-Gaussian