FlashSplat: Оптимальное решение задачи сегментации методом Гауссовского сплетинга 2D в 3D

FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally

September 12, 2024

Авторы: Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Аннотация

Данное исследование рассматривает проблему точного сегментирования трехмерного гауссовского сплэтинга из двумерных масок. Традиционные методы часто полагаются на итеративный градиентный спуск для присвоения каждому гауссиану уникальной метки, что приводит к длительной оптимизации и субоптимальным решениям. Вместо этого мы предлагаем простой, но глобально оптимальный солвер для сегментации трехмерного гауссовского сплэтинга. Основная идея нашего метода заключается в том, что с восстановленной трехмерной сценой гауссовского сплэтинга рендеринг двумерных масок в основном является линейной функцией относительно меток каждого гауссиана. Таким образом, оптимальное присвоение меток может быть решено с помощью линейного программирования в замкнутой форме. Это решение использует характеристику альфа-смешивания процесса сплэтинга для оптимизации за один шаг. Включив фоновое смещение в нашу целевую функцию, наш метод проявляет превосходную устойчивость в трехмерной сегментации против шумов. Замечательно, что наша оптимизация завершается менее чем за 30 секунд, примерно в 50 раз быстрее, чем лучшие существующие методы. Обширные эксперименты демонстрируют эффективность и устойчивость нашего метода при сегментации различных сцен, а также его превосходную производительность в последующих задачах, таких как удаление объектов и заполнение пробелов. Демонстрации и код будут доступны на https://github.com/florinshen/FlashSplat.

English

This study addresses the challenge of accurately segmenting 3D Gaussian Splatting from 2D masks. Conventional methods often rely on iterative gradient descent to assign each Gaussian a unique label, leading to lengthy optimization and sub-optimal solutions. Instead, we propose a straightforward yet globally optimal solver for 3D-GS segmentation. The core insight of our method is that, with a reconstructed 3D-GS scene, the rendering of the 2D masks is essentially a linear function with respect to the labels of each Gaussian. As such, the optimal label assignment can be solved via linear programming in closed form. This solution capitalizes on the alpha blending characteristic of the splatting process for single step optimization. By incorporating the background bias in our objective function, our method shows superior robustness in 3D segmentation against noises. Remarkably, our optimization completes within 30 seconds, about 50times faster than the best existing methods. Extensive experiments demonstrate the efficiency and robustness of our method in segmenting various scenes, and its superior performance in downstream tasks such as object removal and inpainting. Demos and code will be available at https://github.com/florinshen/FlashSplat.