FlashSplat : Segmentation par étalement gaussien 2D vers 3D résolu de manière optimale

FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally

September 12, 2024

Auteurs: Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Résumé

Cette étude aborde le défi de segmenter de manière précise le Gaussian Splatting en 3D à partir de masques en 2D. Les méthodes conventionnelles s'appuient souvent sur une descente de gradient itérative pour attribuer à chaque Gaussian une étiquette unique, ce qui entraîne une optimisation longue et des solutions sous-optimales. Au lieu de cela, nous proposons un solveur simple mais globalement optimal pour la segmentation 3D-GS. L'idée centrale de notre méthode est que, avec une scène 3D-GS reconstruite, le rendu des masques en 2D est essentiellement une fonction linéaire par rapport aux étiquettes de chaque Gaussian. Ainsi, l'attribution d'étiquettes optimale peut être résolue via une programmation linéaire sous forme fermée. Cette solution tire parti de la caractéristique de fusion alpha du processus de splatting pour une optimisation en une seule étape. En incorporant le biais d'arrière-plan dans notre fonction objective, notre méthode montre une robustesse supérieure dans la segmentation 3D contre les bruits. Remarquablement, notre optimisation se termine en moins de 30 secondes, environ 50 fois plus rapidement que les meilleures méthodes existantes. Des expériences approfondies démontrent l'efficacité et la robustesse de notre méthode dans la segmentation de diverses scènes, ainsi que ses performances supérieures dans des tâches ultérieures telles que la suppression d'objets et l'inpainting. Des démonstrations et du code seront disponibles sur https://github.com/florinshen/FlashSplat.

English

This study addresses the challenge of accurately segmenting 3D Gaussian Splatting from 2D masks. Conventional methods often rely on iterative gradient descent to assign each Gaussian a unique label, leading to lengthy optimization and sub-optimal solutions. Instead, we propose a straightforward yet globally optimal solver for 3D-GS segmentation. The core insight of our method is that, with a reconstructed 3D-GS scene, the rendering of the 2D masks is essentially a linear function with respect to the labels of each Gaussian. As such, the optimal label assignment can be solved via linear programming in closed form. This solution capitalizes on the alpha blending characteristic of the splatting process for single step optimization. By incorporating the background bias in our objective function, our method shows superior robustness in 3D segmentation against noises. Remarkably, our optimization completes within 30 seconds, about 50times faster than the best existing methods. Extensive experiments demonstrate the efficiency and robustness of our method in segmenting various scenes, and its superior performance in downstream tasks such as object removal and inpainting. Demos and code will be available at https://github.com/florinshen/FlashSplat.