FlashSplat: 2D naar 3D Gaussisch Splatting Segmentatie Optimaal Opgelost

FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally

September 12, 2024

Auteurs: Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Samenvatting

Deze studie behandelt de uitdaging van het nauwkeurig segmenteren van 3D Gaussian Splatting vanuit 2D maskers. Conventionele methoden vertrouwen vaak op iteratieve gradiëntdaling om elke Gaussian een uniek label toe te wijzen, wat leidt tot langdurige optimalisatie en suboptimale oplossingen. In plaats daarvan stellen we een eenvoudige maar globaal optimale solver voor 3D-GS segmentatie voor. Het kerninzicht van onze methode is dat, met een gereconstrueerde 3D-GS scène, het renderen van de 2D maskers in wezen een lineaire functie is ten opzichte van de labels van elke Gaussian. Als zodanig kan de optimale labeltoewijzing worden opgelost via lineaire programmering in gesloten vorm. Deze oplossing maakt gebruik van de alpha blending karakteristiek van het splatting proces voor optimalisatie in één stap. Door de achtergrondbias op te nemen in onze doelfunctie, toont onze methode superieure robuustheid bij 3D segmentatie tegen ruis. Opmerkelijk genoeg is onze optimalisatie voltooid binnen 30 seconden, ongeveer 50 keer sneller dan de beste bestaande methoden. Uitgebreide experimenten tonen de efficiëntie en robuustheid van onze methode aan bij het segmenteren van verschillende scènes, en de superieure prestaties bij downstream taken zoals objectverwijdering en inpainting. Demonstraties en code zullen beschikbaar zijn op https://github.com/florinshen/FlashSplat.

English

This study addresses the challenge of accurately segmenting 3D Gaussian Splatting from 2D masks. Conventional methods often rely on iterative gradient descent to assign each Gaussian a unique label, leading to lengthy optimization and sub-optimal solutions. Instead, we propose a straightforward yet globally optimal solver for 3D-GS segmentation. The core insight of our method is that, with a reconstructed 3D-GS scene, the rendering of the 2D masks is essentially a linear function with respect to the labels of each Gaussian. As such, the optimal label assignment can be solved via linear programming in closed form. This solution capitalizes on the alpha blending characteristic of the splatting process for single step optimization. By incorporating the background bias in our objective function, our method shows superior robustness in 3D segmentation against noises. Remarkably, our optimization completes within 30 seconds, about 50times faster than the best existing methods. Extensive experiments demonstrate the efficiency and robustness of our method in segmenting various scenes, and its superior performance in downstream tasks such as object removal and inpainting. Demos and code will be available at https://github.com/florinshen/FlashSplat.