FlashSplat: Segmentazione ottimale tramite splatting gaussiano da 2D a 3D

FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally

September 12, 2024

Autori: Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Abstract

Questo studio affronta la sfida di segmentare con precisione lo Splatting Gaussiano 3D da maschere 2D. I metodi convenzionali spesso si basano su discese graduali iterative per assegnare a ciascun Gaussiano un'etichetta univoca, portando a ottimizzazioni lunghe e soluzioni non ottimali. Invece, proponiamo un risolutore diretto ma globalmente ottimale per la segmentazione 3D-GS. Il concetto chiave del nostro metodo è che, con una scena 3D-GS ricostruita, il rendering delle maschere 2D è essenzialmente una funzione lineare rispetto alle etichette di ciascun Gaussiano. Pertanto, l'assegnazione ottimale delle etichette può essere risolta tramite programmazione lineare in forma chiusa. Questa soluzione sfrutta la caratteristica di alpha blending del processo di splatting per ottimizzazione in un solo passaggio. Integrando il bias dello sfondo nella nostra funzione obiettivo, il nostro metodo mostra una robustezza superiore nella segmentazione 3D contro i rumori. Notevolmente, la nostra ottimizzazione si completa entro 30 secondi, circa 50 volte più veloce dei migliori metodi esistenti. Estesi esperimenti dimostrano l'efficienza e la robustezza del nostro metodo nel segmentare varie scene, e la sua prestazione superiore in compiti successivi come la rimozione degli oggetti e l'inpainting. Demo e codice saranno disponibili su https://github.com/florinshen/FlashSplat.

English

This study addresses the challenge of accurately segmenting 3D Gaussian Splatting from 2D masks. Conventional methods often rely on iterative gradient descent to assign each Gaussian a unique label, leading to lengthy optimization and sub-optimal solutions. Instead, we propose a straightforward yet globally optimal solver for 3D-GS segmentation. The core insight of our method is that, with a reconstructed 3D-GS scene, the rendering of the 2D masks is essentially a linear function with respect to the labels of each Gaussian. As such, the optimal label assignment can be solved via linear programming in closed form. This solution capitalizes on the alpha blending characteristic of the splatting process for single step optimization. By incorporating the background bias in our objective function, our method shows superior robustness in 3D segmentation against noises. Remarkably, our optimization completes within 30 seconds, about 50times faster than the best existing methods. Extensive experiments demonstrate the efficiency and robustness of our method in segmenting various scenes, and its superior performance in downstream tasks such as object removal and inpainting. Demos and code will be available at https://github.com/florinshen/FlashSplat.