FlashSplat: Segmentación Óptima de Splatting Gaussiano de 2D a 3D

FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally

September 12, 2024

Autores: Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Resumen

Este estudio aborda el desafío de segmentar con precisión la dispersión gaussiana 3D a partir de máscaras 2D. Los métodos convencionales suelen depender de un descenso de gradiente iterativo para asignar a cada gaussiana una etiqueta única, lo que conlleva una optimización prolongada y soluciones subóptimas. En cambio, proponemos un solucionador directo pero globalmente óptimo para la segmentación de GS 3D. La idea central de nuestro método es que, con una escena 3D-GS reconstruida, la renderización de las máscaras 2D es esencialmente una función lineal con respecto a las etiquetas de cada gaussiana. Por lo tanto, la asignación óptima de etiquetas se puede resolver a través de programación lineal en forma cerrada. Esta solución aprovecha la característica de mezcla alfa del proceso de dispersión para la optimización en un solo paso. Al incorporar el sesgo de fondo en nuestra función objetivo, nuestro método muestra una robustez superior en la segmentación 3D contra ruidos. Notablemente, nuestra optimización se completa en 30 segundos, aproximadamente 50 veces más rápido que los mejores métodos existentes. Experimentos extensos demuestran la eficiencia y robustez de nuestro método en la segmentación de diversas escenas, y su rendimiento superior en tareas posteriores como la eliminación de objetos y el rellenado. Las demostraciones y el código estarán disponibles en https://github.com/florinshen/FlashSplat.

English

This study addresses the challenge of accurately segmenting 3D Gaussian Splatting from 2D masks. Conventional methods often rely on iterative gradient descent to assign each Gaussian a unique label, leading to lengthy optimization and sub-optimal solutions. Instead, we propose a straightforward yet globally optimal solver for 3D-GS segmentation. The core insight of our method is that, with a reconstructed 3D-GS scene, the rendering of the 2D masks is essentially a linear function with respect to the labels of each Gaussian. As such, the optimal label assignment can be solved via linear programming in closed form. This solution capitalizes on the alpha blending characteristic of the splatting process for single step optimization. By incorporating the background bias in our objective function, our method shows superior robustness in 3D segmentation against noises. Remarkably, our optimization completes within 30 seconds, about 50times faster than the best existing methods. Extensive experiments demonstrate the efficiency and robustness of our method in segmenting various scenes, and its superior performance in downstream tasks such as object removal and inpainting. Demos and code will be available at https://github.com/florinshen/FlashSplat.