Herziening van Densificatie in Gaussische Splatting

Revising Densification in Gaussian Splatting

April 9, 2024

Auteurs: Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder

cs.AI

Samenvatting

In dit artikel behandelen we de beperkingen van Adaptive Density Control (ADC) in 3D Gaussian Splatting (3DGS), een scèneweergavemethode die hoogwaardige, fotorealistische resultaten behaalt voor de synthese van nieuwe gezichtspunten. ADC is geïntroduceerd voor het automatisch beheren van 3D-puntprimitieven, waarbij verdichting en snoei worden gereguleerd, maar met bepaalde beperkingen in de verdichtingslogica. Onze belangrijkste bijdrage is een meer principiële, pixel-foutgestuurde formulering voor dichtheidscontrole in 3DGS, waarbij een aanvullende, per-pixel foutfunctie wordt gebruikt als criterium voor verdichting. We introduceren verder een mechanisme om het totale aantal gegenereerde primitieven per scène te controleren en corrigeren een bias in de huidige strategie voor het omgaan met doorzichtigheid van ADC tijdens kloningsoperaties. Onze aanpak leidt tot consistente kwaliteitsverbeteringen over een verscheidenheid aan benchmarkscènes, zonder de efficiëntie van de methode op te offeren.

English

In this paper, we address the limitations of Adaptive Density Control (ADC) in 3D Gaussian Splatting (3DGS), a scene representation method achieving high-quality, photorealistic results for novel view synthesis. ADC has been introduced for automatic 3D point primitive management, controlling densification and pruning, however, with certain limitations in the densification logic. Our main contribution is a more principled, pixel-error driven formulation for density control in 3DGS, leveraging an auxiliary, per-pixel error function as the criterion for densification. We further introduce a mechanism to control the total number of primitives generated per scene and correct a bias in the current opacity handling strategy of ADC during cloning operations. Our approach leads to consistent quality improvements across a variety of benchmark scenes, without sacrificing the method's efficiency.