Controllo della Densità a Discesa Ripida per il Rendering Compatto 3D con Gaussiane

Steepest Descent Density Control for Compact 3D Gaussian Splatting

May 8, 2025

Autori: Peihao Wang, Yuehao Wang, Dilin Wang, Sreyas Mohan, Zhiwen Fan, Lemeng Wu, Ruisi Cai, Yu-Ying Yeh, Zhangyang Wang, Qiang Liu, Rakesh Ranjan

cs.AI

Abstract

Il 3D Gaussian Splatting (3DGS) è emerso come una tecnica potente per la sintesi di nuove viste in tempo reale e ad alta risoluzione. Rappresentando le scene come una miscela di primitive gaussiane, il 3DGS sfrutta le pipeline di rasterizzazione GPU per un rendering e una ricostruzione efficienti. Per ottimizzare la copertura della scena e catturare i dettagli fini, il 3DGS utilizza un algoritmo di densificazione per generare punti aggiuntivi. Tuttavia, questo processo spesso porta a nuvole di punti ridondanti, con conseguente uso eccessivo di memoria, prestazioni più lente e richieste di archiviazione sostanziali, ponendo sfide significative per il dispiegamento su dispositivi con risorse limitate. Per affrontare questa limitazione, proponiamo un quadro teorico che chiarisce e migliora il controllo della densità nel 3DGS. La nostra analisi rivela che la divisione è cruciale per sfuggire ai punti di sella. Attraverso un approccio ottimizzazione-teorico, stabiliamo le condizioni necessarie per la densificazione, determiniamo il numero minimo di gaussiane figlie, identifichiamo la direzione ottimale di aggiornamento dei parametri e forniamo una soluzione analitica per la normalizzazione dell'opacità delle gaussiane figlie. Basandoci su queste intuizioni, introduciamo SteepGS, che incorpora un controllo della densità basato sulla massima pendenza, una strategia principiata che minimizza la perdita mantenendo una nuvola di punti compatta. SteepGS ottiene una riduzione di circa il 50% dei punti gaussiani senza compromettere la qualità del rendering, migliorando significativamente sia l'efficienza che la scalabilità.

English

3D Gaussian Splatting (3DGS) has emerged as a powerful technique for real-time, high-resolution novel view synthesis. By representing scenes as a mixture of Gaussian primitives, 3DGS leverages GPU rasterization pipelines for efficient rendering and reconstruction. To optimize scene coverage and capture fine details, 3DGS employs a densification algorithm to generate additional points. However, this process often leads to redundant point clouds, resulting in excessive memory usage, slower performance, and substantial storage demands - posing significant challenges for deployment on resource-constrained devices. To address this limitation, we propose a theoretical framework that demystifies and improves density control in 3DGS. Our analysis reveals that splitting is crucial for escaping saddle points. Through an optimization-theoretic approach, we establish the necessary conditions for densification, determine the minimal number of offspring Gaussians, identify the optimal parameter update direction, and provide an analytical solution for normalizing off-spring opacity. Building on these insights, we introduce SteepGS, incorporating steepest density control, a principled strategy that minimizes loss while maintaining a compact point cloud. SteepGS achieves a ~50% reduction in Gaussian points without compromising rendering quality, significantly enhancing both efficiency and scalability.