Revisión de la Densificación en el Renderizado Gaussiano

Revising Densification in Gaussian Splatting

April 9, 2024

Autores: Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder

cs.AI

Resumen

En este artículo, abordamos las limitaciones del Control Adaptativo de Densidad (ADC) en el método de representación de escenas conocido como 3D Gaussian Splatting (3DGS), el cual logra resultados fotorealistas de alta calidad para la síntesis de nuevas vistas. ADC fue introducido para la gestión automática de primitivas de puntos 3D, controlando la densificación y poda, aunque presenta ciertas limitaciones en su lógica de densificación. Nuestra principal contribución es una formulación más fundamentada y basada en el error por píxel para el control de densidad en 3DGS, utilizando una función auxiliar de error por píxel como criterio para la densificación. Además, introducimos un mecanismo para controlar el número total de primitivas generadas por escena y corregimos un sesgo en la estrategia actual de manejo de opacidad de ADC durante las operaciones de clonación. Nuestro enfoque conduce a mejoras consistentes en la calidad en una variedad de escenas de referencia, sin sacrificar la eficiencia del método.

English

In this paper, we address the limitations of Adaptive Density Control (ADC) in 3D Gaussian Splatting (3DGS), a scene representation method achieving high-quality, photorealistic results for novel view synthesis. ADC has been introduced for automatic 3D point primitive management, controlling densification and pruning, however, with certain limitations in the densification logic. Our main contribution is a more principled, pixel-error driven formulation for density control in 3DGS, leveraging an auxiliary, per-pixel error function as the criterion for densification. We further introduce a mechanism to control the total number of primitives generated per scene and correct a bias in the current opacity handling strategy of ADC during cloning operations. Our approach leads to consistent quality improvements across a variety of benchmark scenes, without sacrificing the method's efficiency.