Revisione della Densificazione nello Splatting Gaussiano

Revising Densification in Gaussian Splatting

April 9, 2024

Autori: Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder

cs.AI

Abstract

In questo articolo, affrontiamo i limiti del Controllo Adattivo della Densità (ADC) nel Gaussian Splatting 3D (3DGS), un metodo di rappresentazione di scene che ottiene risultati fotorealistici di alta qualità per la sintesi di nuove viste. L'ADC è stato introdotto per la gestione automatica delle primitive di punti 3D, controllando la densificazione e la potatura, ma presenta alcune limitazioni nella logica di densificazione. Il nostro contributo principale è una formulazione più rigorosa, guidata dall'errore per pixel, per il controllo della densità nel 3DGS, sfruttando una funzione ausiliaria di errore per pixel come criterio per la densificazione. Introduciamo inoltre un meccanismo per controllare il numero totale di primitive generate per scena e correggiamo un bias nella strategia corrente di gestione dell'opacità dell'ADC durante le operazioni di clonazione. Il nostro approccio porta a miglioramenti consistenti della qualità in una varietà di scene di benchmark, senza sacrificare l'efficienza del metodo.

English

In this paper, we address the limitations of Adaptive Density Control (ADC) in 3D Gaussian Splatting (3DGS), a scene representation method achieving high-quality, photorealistic results for novel view synthesis. ADC has been introduced for automatic 3D point primitive management, controlling densification and pruning, however, with certain limitations in the densification logic. Our main contribution is a more principled, pixel-error driven formulation for density control in 3DGS, leveraging an auxiliary, per-pixel error function as the criterion for densification. We further introduce a mechanism to control the total number of primitives generated per scene and correct a bias in the current opacity handling strategy of ADC during cloning operations. Our approach leads to consistent quality improvements across a variety of benchmark scenes, without sacrificing the method's efficiency.