Control de Densidad de Descenso Más Pronunciado para Representación Compacta con Splatting Gaussiano 3D

Steepest Descent Density Control for Compact 3D Gaussian Splatting

May 8, 2025

Autores: Peihao Wang, Yuehao Wang, Dilin Wang, Sreyas Mohan, Zhiwen Fan, Lemeng Wu, Ruisi Cai, Yu-Ying Yeh, Zhangyang Wang, Qiang Liu, Rakesh Ranjan

cs.AI

Resumen

El Splatting 3D Gaussiano (3DGS) ha surgido como una técnica poderosa para la síntesis de nuevas vistas en tiempo real y alta resolución. Al representar escenas como una mezcla de primitivas gaussianas, el 3DGS aprovecha las canalizaciones de rasterización de GPU para un renderizado y reconstrucción eficientes. Para optimizar la cobertura de la escena y capturar detalles finos, el 3DGS emplea un algoritmo de densificación para generar puntos adicionales. Sin embargo, este proceso a menudo conduce a nubes de puntos redundantes, lo que resulta en un uso excesivo de memoria, un rendimiento más lento y demandas sustanciales de almacenamiento, planteando desafíos significativos para su implementación en dispositivos con recursos limitados. Para abordar esta limitación, proponemos un marco teórico que desmitifica y mejora el control de densidad en el 3DGS. Nuestro análisis revela que la división es crucial para escapar de puntos de silla. A través de un enfoque teórico de optimización, establecemos las condiciones necesarias para la densificación, determinamos el número mínimo de gaussianas descendientes, identificamos la dirección óptima de actualización de parámetros y proporcionamos una solución analítica para normalizar la opacidad de las descendientes. Basándonos en estas ideas, presentamos SteepGS, que incorpora un control de densidad más pronunciado, una estrategia fundamentada que minimiza la pérdida mientras mantiene una nube de puntos compacta. SteepGS logra una reducción de ~50% en los puntos gaussianos sin comprometer la calidad del renderizado, mejorando significativamente tanto la eficiencia como la escalabilidad.

English

3D Gaussian Splatting (3DGS) has emerged as a powerful technique for real-time, high-resolution novel view synthesis. By representing scenes as a mixture of Gaussian primitives, 3DGS leverages GPU rasterization pipelines for efficient rendering and reconstruction. To optimize scene coverage and capture fine details, 3DGS employs a densification algorithm to generate additional points. However, this process often leads to redundant point clouds, resulting in excessive memory usage, slower performance, and substantial storage demands - posing significant challenges for deployment on resource-constrained devices. To address this limitation, we propose a theoretical framework that demystifies and improves density control in 3DGS. Our analysis reveals that splitting is crucial for escaping saddle points. Through an optimization-theoretic approach, we establish the necessary conditions for densification, determine the minimal number of offspring Gaussians, identify the optimal parameter update direction, and provide an analytical solution for normalizing off-spring opacity. Building on these insights, we introduce SteepGS, incorporating steepest density control, a principled strategy that minimizes loss while maintaining a compact point cloud. SteepGS achieves a ~50% reduction in Gaussian points without compromising rendering quality, significantly enhancing both efficiency and scalability.