Überarbeitung der Verdichtung beim Gauß'schen Splatting

Revising Densification in Gaussian Splatting

April 9, 2024

papers.authors: Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder

cs.AI

papers.abstract

In diesem Paper behandeln wir die Einschränkungen der Adaptive Density Control (ADC) in der 3D-Gauß-Splatting (3DGS), einer Szene-Repräsentationsmethode, die hochwertige, fotorealistische Ergebnisse für die Synthese neuer Ansichten erzielt. ADC wurde zur automatischen Verwaltung von 3D-Punktprimitiven eingeführt, um die Verdichtung und das Beschneiden zu steuern, jedoch mit bestimmten Einschränkungen in der Verdichtungslogik. Unser Hauptbeitrag ist eine prinzipienbasierte, pixelfehlergesteuerte Formulierung für die Dichtesteuerung in 3DGS, die eine Hilfsfunktion pro Pixelfehler als Kriterium für die Verdichtung nutzt. Wir führen außerdem einen Mechanismus ein, um die Gesamtanzahl der pro Szene erzeugten Primitiven zu steuern und einen Bias in der aktuellen Opazitätsbehandlungsstrategie von ADC während der Klonvorgänge zu korrigieren. Unser Ansatz führt zu konsistenten Qualitätsverbesserungen über eine Vielzahl von Benchmark-Szenen, ohne die Effizienz der Methode zu beeinträchtigen.

English

In this paper, we address the limitations of Adaptive Density Control (ADC) in 3D Gaussian Splatting (3DGS), a scene representation method achieving high-quality, photorealistic results for novel view synthesis. ADC has been introduced for automatic 3D point primitive management, controlling densification and pruning, however, with certain limitations in the densification logic. Our main contribution is a more principled, pixel-error driven formulation for density control in 3DGS, leveraging an auxiliary, per-pixel error function as the criterion for densification. We further introduce a mechanism to control the total number of primitives generated per scene and correct a bias in the current opacity handling strategy of ADC during cloning operations. Our approach leads to consistent quality improvements across a variety of benchmark scenes, without sacrificing the method's efficiency.