Controle de Densidade por Descida Mais Íngreme para Compactação de Splatting Gaussiano 3D

Steepest Descent Density Control for Compact 3D Gaussian Splatting

May 8, 2025

Autores: Peihao Wang, Yuehao Wang, Dilin Wang, Sreyas Mohan, Zhiwen Fan, Lemeng Wu, Ruisi Cai, Yu-Ying Yeh, Zhangyang Wang, Qiang Liu, Rakesh Ranjan

cs.AI

Resumo

O 3D Gaussian Splatting (3DGS) surgiu como uma técnica poderosa para a síntese de novas visões em tempo real e alta resolução. Ao representar cenas como uma mistura de primitivas Gaussianas, o 3DGS aproveita os pipelines de rasterização da GPU para renderização e reconstrução eficientes. Para otimizar a cobertura da cena e capturar detalhes finos, o 3DGS emprega um algoritmo de densificação para gerar pontos adicionais. No entanto, esse processo frequentemente resulta em nuvens de pontos redundantes, levando ao uso excessivo de memória, desempenho mais lento e demandas substanciais de armazenamento - o que representa desafios significativos para a implantação em dispositivos com recursos limitados. Para abordar essa limitação, propomos um framework teórico que desmistifica e melhora o controle de densidade no 3DGS. Nossa análise revela que a divisão é crucial para escapar de pontos de sela. Por meio de uma abordagem teórica de otimização, estabelecemos as condições necessárias para a densificação, determinamos o número mínimo de Gaussianas descendentes, identificamos a direção ideal de atualização dos parâmetros e fornecemos uma solução analítica para normalizar a opacidade das descendentes. Com base nessas percepções, introduzimos o SteepGS, que incorpora o controle de densidade mais acentuado, uma estratégia fundamentada que minimiza a perda enquanto mantém uma nuvem de pontos compacta. O SteepGS alcança uma redução de ~50% nos pontos Gaussianos sem comprometer a qualidade de renderização, melhorando significativamente tanto a eficiência quanto a escalabilidade.

English

3D Gaussian Splatting (3DGS) has emerged as a powerful technique for real-time, high-resolution novel view synthesis. By representing scenes as a mixture of Gaussian primitives, 3DGS leverages GPU rasterization pipelines for efficient rendering and reconstruction. To optimize scene coverage and capture fine details, 3DGS employs a densification algorithm to generate additional points. However, this process often leads to redundant point clouds, resulting in excessive memory usage, slower performance, and substantial storage demands - posing significant challenges for deployment on resource-constrained devices. To address this limitation, we propose a theoretical framework that demystifies and improves density control in 3DGS. Our analysis reveals that splitting is crucial for escaping saddle points. Through an optimization-theoretic approach, we establish the necessary conditions for densification, determine the minimal number of offspring Gaussians, identify the optimal parameter update direction, and provide an analytical solution for normalizing off-spring opacity. Building on these insights, we introduce SteepGS, incorporating steepest density control, a principled strategy that minimizes loss while maintaining a compact point cloud. SteepGS achieves a ~50% reduction in Gaussian points without compromising rendering quality, significantly enhancing both efficiency and scalability.