FlashSplat: 2D zu 3D Gauss'sches Splatting Segmentierung optimal gelöst

FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally

September 12, 2024

Autoren: Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Zusammenfassung

Diese Studie befasst sich mit der Herausforderung, 3D-Gauß-Splatting genau aus 2D-Masken zu segmentieren. Herkömmliche Methoden verlassen sich oft auf iterative Gradientenabstiegsverfahren, um jedem Gauß eine eindeutige Kennzeichnung zuzuweisen, was zu langwierigen Optimierungen und suboptimalen Lösungen führt. Stattdessen schlagen wir einen einfachen, aber global optimalen Solver für die 3D-GS-Segmentierung vor. Der Kerngedanke unserer Methode ist, dass bei einer rekonstruierten 3D-GS-Szene die Darstellung der 2D-Masken im Wesentlichen eine lineare Funktion in Bezug auf die Kennzeichnungen jedes Gaußschen ist. Als solches kann die optimale Kennzeichnung durch lineare Programmierung in geschlossener Form gelöst werden. Diese Lösung nutzt die Alpha-Blending-Eigenschaft des Splatting-Prozesses für die Optimierung in einem Schritt aus. Durch die Einbeziehung des Hintergrundbias in unsere Ziel-Funktion zeigt unsere Methode eine überlegene Robustheit bei der 3D-Segmentierung gegenüber Störungen. Bemerkenswerterweise ist unsere Optimierung innerhalb von 30 Sekunden abgeschlossen, etwa 50-mal schneller als die besten vorhandenen Methoden. Umfangreiche Experimente zeigen die Effizienz und Robustheit unserer Methode bei der Segmentierung verschiedener Szenen sowie ihre überlegene Leistung bei nachgelagerten Aufgaben wie Objektentfernung und Inpainting. Demos und Code sind verfügbar unter https://github.com/florinshen/FlashSplat.

English

This study addresses the challenge of accurately segmenting 3D Gaussian Splatting from 2D masks. Conventional methods often rely on iterative gradient descent to assign each Gaussian a unique label, leading to lengthy optimization and sub-optimal solutions. Instead, we propose a straightforward yet globally optimal solver for 3D-GS segmentation. The core insight of our method is that, with a reconstructed 3D-GS scene, the rendering of the 2D masks is essentially a linear function with respect to the labels of each Gaussian. As such, the optimal label assignment can be solved via linear programming in closed form. This solution capitalizes on the alpha blending characteristic of the splatting process for single step optimization. By incorporating the background bias in our objective function, our method shows superior robustness in 3D segmentation against noises. Remarkably, our optimization completes within 30 seconds, about 50times faster than the best existing methods. Extensive experiments demonstrate the efficiency and robustness of our method in segmenting various scenes, and its superior performance in downstream tasks such as object removal and inpainting. Demos and code will be available at https://github.com/florinshen/FlashSplat.