Révision de la densification dans le lissage gaussien

Revising Densification in Gaussian Splatting

April 9, 2024

Auteurs: Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder

cs.AI

Résumé

Dans cet article, nous abordons les limitations du contrôle adaptatif de densité (ADC) dans le cadre du lissage gaussien 3D (3DGS), une méthode de représentation de scène permettant d'obtenir des résultats photoréalistes de haute qualité pour la synthèse de nouvelles vues. L'ADC a été introduit pour gérer automatiquement les primitives de points 3D, en contrôlant la densification et l'élagage, mais présente certaines limites dans sa logique de densification. Notre principale contribution est une formulation plus rigoureuse, basée sur l'erreur par pixel, pour le contrôle de densité dans le 3DGS, en exploitant une fonction d'erreur auxiliaire par pixel comme critère de densification. Nous introduisons également un mécanisme pour contrôler le nombre total de primitives générées par scène et corrigeons un biais dans la stratégie actuelle de gestion de l'opacité de l'ADC lors des opérations de clonage. Notre approche permet des améliorations qualitatives cohérentes sur une variété de scènes de référence, sans sacrifier l'efficacité de la méthode.

English

In this paper, we address the limitations of Adaptive Density Control (ADC) in 3D Gaussian Splatting (3DGS), a scene representation method achieving high-quality, photorealistic results for novel view synthesis. ADC has been introduced for automatic 3D point primitive management, controlling densification and pruning, however, with certain limitations in the densification logic. Our main contribution is a more principled, pixel-error driven formulation for density control in 3DGS, leveraging an auxiliary, per-pixel error function as the criterion for densification. We further introduce a mechanism to control the total number of primitives generated per scene and correct a bias in the current opacity handling strategy of ADC during cloning operations. Our approach leads to consistent quality improvements across a variety of benchmark scenes, without sacrificing the method's efficiency.