Splatting Gaussiano 3D Compacto para Campos de Radiación Estáticos y Dinámicos

Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields

August 7, 2024

Autores: Joo Chan Lee, Daniel Rho, Xiangyu Sun, Jong Hwan Ko, Eunbyung Park

cs.AI

Resumen

La técnica de "splatting" gaussiano en 3D (3DGS) ha surgido recientemente como una representación alternativa que aprovecha una representación basada en Gaussianas en 3D e introduce una renderización volumétrica aproximada, logrando una velocidad de renderizado muy rápida y una calidad de imagen prometedora. Además, estudios posteriores han extendido con éxito el 3DGS a escenas 3D dinámicas, demostrando su amplio rango de aplicaciones. Sin embargo, surge un inconveniente significativo ya que el 3DGS y sus métodos subsiguientes implican un número sustancial de Gaussianas para mantener la alta fidelidad de las imágenes renderizadas, lo que requiere una gran cantidad de memoria y almacenamiento. Para abordar este problema crítico, enfatizamos dos objetivos clave: reducir el número de puntos Gaussianos sin sacrificar el rendimiento y comprimir los atributos Gaussianos, como el color dependiente de la vista y la covarianza. Con este fin, proponemos una estrategia de máscara aprendible que reduce significativamente el número de Gaussianas mientras se preserva un alto rendimiento. Además, proponemos una representación compacta pero efectiva del color dependiente de la vista mediante el uso de un campo neural basado en cuadrícula en lugar de depender de armónicos esféricos. Finalmente, aprendemos libros de códigos para representar de forma compacta los atributos geométricos y temporales mediante cuantificación vectorial residual. Con técnicas de compresión de modelos como cuantificación y codificación de entropía, demostramos de manera consistente una reducción de más de 25 veces en el almacenamiento y una velocidad de renderizado mejorada en comparación con el 3DGS para escenas estáticas, manteniendo la calidad de la representación de la escena. Para escenas dinámicas, nuestro enfoque logra una eficiencia de almacenamiento de más de 12 veces y conserva una reconstrucción de alta calidad en comparación con los métodos existentes de vanguardia. Nuestro trabajo proporciona un marco integral para la representación de escenas en 3D, logrando un alto rendimiento, entrenamiento rápido, compacidad y renderizado en tiempo real. Nuestra página de proyecto está disponible en https://maincold2.github.io/c3dgs/.

English

3D Gaussian splatting (3DGS) has recently emerged as an alternative representation that leverages a 3D Gaussian-based representation and introduces an approximated volumetric rendering, achieving very fast rendering speed and promising image quality. Furthermore, subsequent studies have successfully extended 3DGS to dynamic 3D scenes, demonstrating its wide range of applications. However, a significant drawback arises as 3DGS and its following methods entail a substantial number of Gaussians to maintain the high fidelity of the rendered images, which requires a large amount of memory and storage. To address this critical issue, we place a specific emphasis on two key objectives: reducing the number of Gaussian points without sacrificing performance and compressing the Gaussian attributes, such as view-dependent color and covariance. To this end, we propose a learnable mask strategy that significantly reduces the number of Gaussians while preserving high performance. In addition, we propose a compact but effective representation of view-dependent color by employing a grid-based neural field rather than relying on spherical harmonics. Finally, we learn codebooks to compactly represent the geometric and temporal attributes by residual vector quantization. With model compression techniques such as quantization and entropy coding, we consistently show over 25x reduced storage and enhanced rendering speed compared to 3DGS for static scenes, while maintaining the quality of the scene representation. For dynamic scenes, our approach achieves more than 12x storage efficiency and retains a high-quality reconstruction compared to the existing state-of-the-art methods. Our work provides a comprehensive framework for 3D scene representation, achieving high performance, fast training, compactness, and real-time rendering. Our project page is available at https://maincold2.github.io/c3dgs/.