FlashSplat: 2Dから3Dへのガウススプラッティングセグメンテーションを最適に解決

FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally

September 12, 2024

著者: Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

要旨

この研究は、2Dマスクから3Dガウススプラッティングを正確にセグメンテーションするという課題に取り組んでいます。従来の手法は、各ガウスに一意のラベルを割り当てるために反復的な勾配降下法に頼ることが多く、最適化に時間がかかり、サブ最適な解が生じることがあります。代わりに、私たちは3D-GSセグメンテーションのための直感的でありながらもグローバルに最適なソルバーを提案しています。私たちの手法の中心的な洞察は、再構築された3D-GSシーンにおいて、2Dマスクのレンダリングが各ガウスのラベルに関して線形関数であるということです。そのため、最適なラベル割り当ては、閉形式の線形計画法によって解決できます。この解決策は、スプラッティングプロセスのアルファブレンディング特性を活用して単一ステップ最適化を行います。背景バイアスを目的関数に組み込むことで、ノイズに対する3Dセグメンテーションにおける当社の手法の優れた堅牢性が示されます。驚くべきことに、最適化は30秒以内に完了し、最良の既存手法よりも約50倍高速です。幅広い実験により、当社の手法がさまざまなシーンをセグメンテーションする際の効率性と堅牢性、およびオブジェクトの削除やインペインティングなどの下流タスクにおける優れたパフォーマンスが示されます。デモとコードは、https://github.com/florinshen/FlashSplat で入手可能です。

English

This study addresses the challenge of accurately segmenting 3D Gaussian Splatting from 2D masks. Conventional methods often rely on iterative gradient descent to assign each Gaussian a unique label, leading to lengthy optimization and sub-optimal solutions. Instead, we propose a straightforward yet globally optimal solver for 3D-GS segmentation. The core insight of our method is that, with a reconstructed 3D-GS scene, the rendering of the 2D masks is essentially a linear function with respect to the labels of each Gaussian. As such, the optimal label assignment can be solved via linear programming in closed form. This solution capitalizes on the alpha blending characteristic of the splatting process for single step optimization. By incorporating the background bias in our objective function, our method shows superior robustness in 3D segmentation against noises. Remarkably, our optimization completes within 30 seconds, about 50times faster than the best existing methods. Extensive experiments demonstrate the efficiency and robustness of our method in segmenting various scenes, and its superior performance in downstream tasks such as object removal and inpainting. Demos and code will be available at https://github.com/florinshen/FlashSplat.