Contrôle de densité par descente la plus raide pour le placage compact de Gaussiennes 3D

Steepest Descent Density Control for Compact 3D Gaussian Splatting

May 8, 2025

Auteurs: Peihao Wang, Yuehao Wang, Dilin Wang, Sreyas Mohan, Zhiwen Fan, Lemeng Wu, Ruisi Cai, Yu-Ying Yeh, Zhangyang Wang, Qiang Liu, Rakesh Ranjan

cs.AI

Résumé

Le 3D Gaussian Splatting (3DGS) s'est imposé comme une technique puissante pour la synthèse de nouvelles vues en temps réel et haute résolution. En représentant les scènes comme un mélange de primitives gaussiennes, le 3DGS exploite les pipelines de rasterisation GPU pour un rendu et une reconstruction efficaces. Pour optimiser la couverture de la scène et capturer les détails fins, le 3DGS utilise un algorithme de densification pour générer des points supplémentaires. Cependant, ce processus conduit souvent à des nuages de points redondants, entraînant une utilisation excessive de la mémoire, des performances ralenties et des besoins de stockage importants - posant ainsi des défis majeurs pour le déploiement sur des appareils aux ressources limitées. Pour pallier cette limitation, nous proposons un cadre théorique qui démystifie et améliore le contrôle de la densité dans le 3DGS. Notre analyse révèle que la division est cruciale pour échapper aux points selles. Grâce à une approche d'optimisation théorique, nous établissons les conditions nécessaires à la densification, déterminons le nombre minimal de Gaussiennes filles, identifions la direction optimale de mise à jour des paramètres et fournissons une solution analytique pour normaliser l'opacité des Gaussiennes filles. Sur la base de ces insights, nous introduisons SteepGS, intégrant un contrôle de densité optimal, une stratégie rigoureuse qui minimise la perte tout en maintenant un nuage de points compact. SteepGS permet une réduction d'environ 50 % du nombre de points gaussiens sans compromettre la qualité du rendu, améliorant ainsi significativement l'efficacité et l'évolutivité.

English

3D Gaussian Splatting (3DGS) has emerged as a powerful technique for real-time, high-resolution novel view synthesis. By representing scenes as a mixture of Gaussian primitives, 3DGS leverages GPU rasterization pipelines for efficient rendering and reconstruction. To optimize scene coverage and capture fine details, 3DGS employs a densification algorithm to generate additional points. However, this process often leads to redundant point clouds, resulting in excessive memory usage, slower performance, and substantial storage demands - posing significant challenges for deployment on resource-constrained devices. To address this limitation, we propose a theoretical framework that demystifies and improves density control in 3DGS. Our analysis reveals that splitting is crucial for escaping saddle points. Through an optimization-theoretic approach, we establish the necessary conditions for densification, determine the minimal number of offspring Gaussians, identify the optimal parameter update direction, and provide an analytical solution for normalizing off-spring opacity. Building on these insights, we introduce SteepGS, incorporating steepest density control, a principled strategy that minimizes loss while maintaining a compact point cloud. SteepGS achieves a ~50% reduction in Gaussian points without compromising rendering quality, significantly enhancing both efficiency and scalability.