Click-Gaussiano: Segmentación Interactiva hacia Cualquier Gaussiana 3D

Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

July 16, 2024

Autores: Seokhun Choi, Hyeonseop Song, Jaechul Kim, Taehyeong Kim, Hoseok Do

cs.AI

Resumen

La segmentación interactiva de Gaussianas 3D abre una gran oportunidad para la manipulación en tiempo real de escenas 3D gracias a la capacidad de renderizado en tiempo real del Splatting Gaussiano 3D. Sin embargo, los métodos actuales sufren de un postprocesamiento que consume tiempo para lidiar con la salida de segmentación ruidosa. Además, tienen dificultades para proporcionar una segmentación detallada, lo cual es importante para la manipulación detallada de escenas 3D. En este estudio, proponemos Click-Gaussiano, el cual aprende campos de características distinguibles de dos niveles de granularidad, facilitando la segmentación sin un postprocesamiento que consuma tiempo. Profundizamos en los desafíos que surgen de campos de características aprendidos de manera inconsistente, resultado de una segmentación 2D obtenida de forma independiente de una escena 3D. La precisión de la segmentación 3D se deteriora cuando los resultados de segmentación 2D a través de las vistas, claves principales para la segmentación 3D, entran en conflicto. Para superar estos problemas, proponemos Aprendizaje Guiado por Características Globales (GFL). GFL construye los clústeres de candidatos de características globales a partir de segmentos 2D ruidosos a través de las vistas, lo que suaviza los ruidos al entrenar las características de las Gaussianas 3D. Nuestro método se ejecuta en 10 ms por clic, de 15 a 130 veces más rápido que los métodos anteriores, al tiempo que mejora significativamente la precisión de la segmentación. Nuestra página de proyecto está disponible en https://seokhunchoi.github.io/Click-Gaussian

English

Interactive segmentation of 3D Gaussians opens a great opportunity for real-time manipulation of 3D scenes thanks to the real-time rendering capability of 3D Gaussian Splatting. However, the current methods suffer from time-consuming post-processing to deal with noisy segmentation output. Also, they struggle to provide detailed segmentation, which is important for fine-grained manipulation of 3D scenes. In this study, we propose Click-Gaussian, which learns distinguishable feature fields of two-level granularity, facilitating segmentation without time-consuming post-processing. We delve into challenges stemming from inconsistently learned feature fields resulting from 2D segmentation obtained independently from a 3D scene. 3D segmentation accuracy deteriorates when 2D segmentation results across the views, primary cues for 3D segmentation, are in conflict. To overcome these issues, we propose Global Feature-guided Learning (GFL). GFL constructs the clusters of global feature candidates from noisy 2D segments across the views, which smooths out noises when training the features of 3D Gaussians. Our method runs in 10 ms per click, 15 to 130 times as fast as the previous methods, while also significantly improving segmentation accuracy. Our project page is available at https://seokhunchoi.github.io/Click-Gaussian