CompGS: Representación Eficiente de Escenas 3D mediante Splatting Gaussiano Comprimido

CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting

April 15, 2024

Autores: Xiangrui Liu, Xinju Wu, Pingping Zhang, Shiqi Wang, Zhu Li, Sam Kwong

cs.AI

Resumen

El splatting gaussiano, reconocido por su excepcional calidad de renderizado y eficiencia, ha surgido como una técnica destacada en la representación de escenas 3D. Sin embargo, el volumen sustancial de datos del splatting gaussiano dificulta su utilidad práctica en aplicaciones del mundo real. En este trabajo, proponemos una representación eficiente de escenas 3D, denominada Compressed Gaussian Splatting (CompGS), que aprovecha primitivas gaussianas compactas para modelar fielmente escenas 3D con un tamaño de datos notablemente reducido. Para garantizar la compacidad de las primitivas gaussianas, diseñamos una estructura híbrida de primitivas que captura relaciones predictivas entre ellas. Luego, utilizamos un pequeño conjunto de primitivas ancla para la predicción, permitiendo que la mayoría de las primitivas se encapsulen en formas residuales altamente compactas. Además, desarrollamos un esquema de optimización con restricción de tasa para eliminar redundancias dentro de estas primitivas híbridas, orientando nuestro CompGS hacia un equilibrio óptimo entre el consumo de bitrate y la eficacia de la representación. Los resultados experimentales muestran que el CompGS propuesto supera significativamente a los métodos existentes, logrando una compacidad superior en la representación de escenas 3D sin comprometer la precisión del modelo ni la calidad del renderizado. Nuestro código será publicado en GitHub para futuras investigaciones.

English

Gaussian splatting, renowned for its exceptional rendering quality and efficiency, has emerged as a prominent technique in 3D scene representation. However, the substantial data volume of Gaussian splatting impedes its practical utility in real-world applications. Herein, we propose an efficient 3D scene representation, named Compressed Gaussian Splatting (CompGS), which harnesses compact Gaussian primitives for faithful 3D scene modeling with a remarkably reduced data size. To ensure the compactness of Gaussian primitives, we devise a hybrid primitive structure that captures predictive relationships between each other. Then, we exploit a small set of anchor primitives for prediction, allowing the majority of primitives to be encapsulated into highly compact residual forms. Moreover, we develop a rate-constrained optimization scheme to eliminate redundancies within such hybrid primitives, steering our CompGS towards an optimal trade-off between bitrate consumption and representation efficacy. Experimental results show that the proposed CompGS significantly outperforms existing methods, achieving superior compactness in 3D scene representation without compromising model accuracy and rendering quality. Our code will be released on GitHub for further research.