FlashSplat: Segmentação Ótima por Espalhamento Gaussiano de 2D para 3D

FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally

September 12, 2024

Autores: Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Resumo

Este estudo aborda o desafio de segmentar com precisão o Splatting Gaussiano 3D a partir de máscaras 2D. Métodos convencionais frequentemente dependem de descida de gradiente iterativa para atribuir a cada Gaussiana um rótulo único, resultando em otimizações demoradas e soluções subótimas. Em vez disso, propomos um resolvedor direto, porém globalmente ótimo, para segmentação 3D-GS. A ideia central do nosso método é que, com uma cena 3D-GS reconstruída, a renderização das máscaras 2D é essencialmente uma função linear em relação aos rótulos de cada Gaussiana. Dessa forma, a atribuição ótima de rótulos pode ser resolvida por meio de programação linear em forma fechada. Esta solução se beneficia da característica de mistura alfa do processo de splatting para otimização em um único passo. Ao incorporar o viés de fundo em nossa função objetivo, nosso método demonstra uma robustez superior na segmentação 3D contra ruídos. Notavelmente, nossa otimização é concluída em 30 segundos, cerca de 50 vezes mais rápido do que os melhores métodos existentes. Experimentos extensos demonstram a eficiência e robustez do nosso método na segmentação de várias cenas, e seu desempenho superior em tarefas subsequentes como remoção de objetos e inpainting. Demonstrativos e código estarão disponíveis em https://github.com/florinshen/FlashSplat.

English

This study addresses the challenge of accurately segmenting 3D Gaussian Splatting from 2D masks. Conventional methods often rely on iterative gradient descent to assign each Gaussian a unique label, leading to lengthy optimization and sub-optimal solutions. Instead, we propose a straightforward yet globally optimal solver for 3D-GS segmentation. The core insight of our method is that, with a reconstructed 3D-GS scene, the rendering of the 2D masks is essentially a linear function with respect to the labels of each Gaussian. As such, the optimal label assignment can be solved via linear programming in closed form. This solution capitalizes on the alpha blending characteristic of the splatting process for single step optimization. By incorporating the background bias in our objective function, our method shows superior robustness in 3D segmentation against noises. Remarkably, our optimization completes within 30 seconds, about 50times faster than the best existing methods. Extensive experiments demonstrate the efficiency and robustness of our method in segmenting various scenes, and its superior performance in downstream tasks such as object removal and inpainting. Demos and code will be available at https://github.com/florinshen/FlashSplat.