Revisando a Densificação no Gaussian Splatting

Revising Densification in Gaussian Splatting

April 9, 2024

Autores: Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder

cs.AI

Resumo

Neste artigo, abordamos as limitações do Controle Adaptativo de Densidade (ADC) no Splatting Gaussiano 3D (3DGS), um método de representação de cena que alcança resultados fotorealísticos de alta qualidade para síntese de novas visões. O ADC foi introduzido para o gerenciamento automático de primitivas de pontos 3D, controlando a densificação e a poda, porém com certas limitações na lógica de densificação. Nossa principal contribuição é uma formulação mais fundamentada e orientada por erro de pixel para o controle de densidade no 3DGS, utilizando uma função auxiliar de erro por pixel como critério para densificação. Além disso, introduzimos um mecanismo para controlar o número total de primitivas geradas por cena e corrigimos um viés na estratégia atual de manipulação de opacidade do ADC durante operações de clonagem. Nossa abordagem resulta em melhorias consistentes de qualidade em uma variedade de cenas de benchmark, sem sacrificar a eficiência do método.

English

In this paper, we address the limitations of Adaptive Density Control (ADC) in 3D Gaussian Splatting (3DGS), a scene representation method achieving high-quality, photorealistic results for novel view synthesis. ADC has been introduced for automatic 3D point primitive management, controlling densification and pruning, however, with certain limitations in the densification logic. Our main contribution is a more principled, pixel-error driven formulation for density control in 3DGS, leveraging an auxiliary, per-pixel error function as the criterion for densification. We further introduce a mechanism to control the total number of primitives generated per scene and correct a bias in the current opacity handling strategy of ADC during cloning operations. Our approach leads to consistent quality improvements across a variety of benchmark scenes, without sacrificing the method's efficiency.