Clique-Gaussiano: Segmentação Interativa para Quaisquer Gaussianas 3D

Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

July 16, 2024

Autores: Seokhun Choi, Hyeonseop Song, Jaechul Kim, Taehyeong Kim, Hoseok Do

cs.AI

Resumo

A segmentação interativa de Gaussianas 3D abre uma grande oportunidade para a manipulação em tempo real de cenas 3D, graças à capacidade de renderização em tempo real do Splatting Gaussiano 3D. No entanto, os métodos atuais sofrem com pós-processamento demorado para lidar com a saída de segmentação ruidosa. Além disso, eles têm dificuldade em fornecer uma segmentação detalhada, o que é importante para a manipulação detalhada de cenas 3D. Neste estudo, propomos o Click-Gaussiano, que aprende campos de características distinguíveis de granularidade em dois níveis, facilitando a segmentação sem pós-processamento demorado. Exploramos os desafios decorrentes de campos de características aprendidos de forma inconsistente resultantes da segmentação 2D obtida independentemente de uma cena 3D. A precisão da segmentação 3D deteriora quando os resultados de segmentação 2D entre as visualizações, pistas principais para a segmentação 3D, estão em conflito. Para superar esses problemas, propomos o Aprendizado Guiado por Recursos Globais (GFL). O GFL constrói os clusters de candidatos a recursos globais a partir de segmentos 2D ruidosos entre as visualizações, o que suaviza os ruídos ao treinar os recursos das Gaussianas 3D. Nosso método é executado em 10 ms por clique, de 15 a 130 vezes mais rápido do que os métodos anteriores, enquanto também melhora significativamente a precisão da segmentação. Nossa página do projeto está disponível em https://seokhunchoi.github.io/Click-Gaussian

English

Interactive segmentation of 3D Gaussians opens a great opportunity for real-time manipulation of 3D scenes thanks to the real-time rendering capability of 3D Gaussian Splatting. However, the current methods suffer from time-consuming post-processing to deal with noisy segmentation output. Also, they struggle to provide detailed segmentation, which is important for fine-grained manipulation of 3D scenes. In this study, we propose Click-Gaussian, which learns distinguishable feature fields of two-level granularity, facilitating segmentation without time-consuming post-processing. We delve into challenges stemming from inconsistently learned feature fields resulting from 2D segmentation obtained independently from a 3D scene. 3D segmentation accuracy deteriorates when 2D segmentation results across the views, primary cues for 3D segmentation, are in conflict. To overcome these issues, we propose Global Feature-guided Learning (GFL). GFL constructs the clusters of global feature candidates from noisy 2D segments across the views, which smooths out noises when training the features of 3D Gaussians. Our method runs in 10 ms per click, 15 to 130 times as fast as the previous methods, while also significantly improving segmentation accuracy. Our project page is available at https://seokhunchoi.github.io/Click-Gaussian