Steilster Abstieg der Dichtesteuerung für kompaktes 3D-Gaussian Splatting

Steepest Descent Density Control for Compact 3D Gaussian Splatting

May 8, 2025

Autoren: Peihao Wang, Yuehao Wang, Dilin Wang, Sreyas Mohan, Zhiwen Fan, Lemeng Wu, Ruisi Cai, Yu-Ying Yeh, Zhangyang Wang, Qiang Liu, Rakesh Ranjan

cs.AI

Zusammenfassung

3D Gaussian Splatting (3DGS) hat sich als leistungsstarke Technik für die Echtzeit-Synthese hochauflösender neuer Ansichten etabliert. Indem Szenen als eine Mischung von Gaußschen Primitiven dargestellt werden, nutzt 3DGS GPU-Rasterisierungspipelines für effizientes Rendering und Rekonstruktion. Um die Szenenabdeckung zu optimieren und feine Details zu erfassen, verwendet 3DGS einen Verdichtungsalgorithmus, um zusätzliche Punkte zu generieren. Dieser Prozess führt jedoch oft zu redundanten Punktwolken, was übermäßigen Speicherverbrauch, langsamere Leistung und erhebliche Speicheranforderungen zur Folge hat – was erhebliche Herausforderungen für den Einsatz auf ressourcenbeschränkten Geräten darstellt. Um diese Einschränkung zu überwinden, schlagen wir ein theoretisches Framework vor, das die Dichtekontrolle in 3DGS entmystifiziert und verbessert. Unsere Analyse zeigt, dass das Aufteilen entscheidend ist, um Sattelpunkte zu verlassen. Durch einen optimierungstheoretischen Ansatz leiten wir die notwendigen Bedingungen für die Verdichtung ab, bestimmen die minimale Anzahl von Nachkommen-Gaußschen, identifizieren die optimale Richtung für Parameteraktualisierungen und liefern eine analytische Lösung für die Normalisierung der Opazität der Nachkommen. Aufbauend auf diesen Erkenntnissen führen wir SteepGS ein, das eine steilste Dichtekontrolle integriert – eine prinzipienbasierte Strategie, die den Verlust minimiert, während eine kompakte Punktwolke erhalten bleibt. SteepGS erreicht eine Reduktion der Gaußschen Punkte um ~50 %, ohne die Renderqualität zu beeinträchtigen, und verbessert damit sowohl die Effizienz als auch die Skalierbarkeit erheblich.

English

3D Gaussian Splatting (3DGS) has emerged as a powerful technique for real-time, high-resolution novel view synthesis. By representing scenes as a mixture of Gaussian primitives, 3DGS leverages GPU rasterization pipelines for efficient rendering and reconstruction. To optimize scene coverage and capture fine details, 3DGS employs a densification algorithm to generate additional points. However, this process often leads to redundant point clouds, resulting in excessive memory usage, slower performance, and substantial storage demands - posing significant challenges for deployment on resource-constrained devices. To address this limitation, we propose a theoretical framework that demystifies and improves density control in 3DGS. Our analysis reveals that splitting is crucial for escaping saddle points. Through an optimization-theoretic approach, we establish the necessary conditions for densification, determine the minimal number of offspring Gaussians, identify the optimal parameter update direction, and provide an analytical solution for normalizing off-spring opacity. Building on these insights, we introduce SteepGS, incorporating steepest density control, a principled strategy that minimizes loss while maintaining a compact point cloud. SteepGS achieves a ~50% reduction in Gaussian points without compromising rendering quality, significantly enhancing both efficiency and scalability.