CompGS : Représentation efficace de scènes 3D via le splatting de Gaussiennes compressé

CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting

April 15, 2024

Auteurs: Xiangrui Liu, Xinju Wu, Pingping Zhang, Shiqi Wang, Zhu Li, Sam Kwong

cs.AI

Résumé

Le Gaussian splatting, reconnu pour sa qualité de rendu exceptionnelle et son efficacité, s'est imposé comme une technique majeure dans la représentation de scènes 3D. Cependant, le volume de données important associé au Gaussian splatting limite son utilité pratique dans des applications réelles. Nous proposons ici une représentation efficace de scènes 3D, nommée Compressed Gaussian Splatting (CompGS), qui exploite des primitives gaussiennes compactes pour modéliser fidèlement des scènes 3D avec une taille de données considérablement réduite. Pour garantir la compacité des primitives gaussiennes, nous concevons une structure hybride de primitives qui capture les relations prédictives entre elles. Ensuite, nous utilisons un petit ensemble de primitives d'ancrage pour la prédiction, permettant à la majorité des primitives d'être encapsulées sous des formes résiduelles hautement compactes. De plus, nous développons un schéma d'optimisation contraint par le débit pour éliminer les redondances au sein de ces primitives hybrides, orientant notre CompGS vers un compromis optimal entre la consommation de débit et l'efficacité de la représentation. Les résultats expérimentaux montrent que la méthode CompGS proposée surpasse significativement les méthodes existantes, atteignant une compacité supérieure dans la représentation de scènes 3D sans compromettre la précision du modèle et la qualité du rendu. Notre code sera publié sur GitHub pour des recherches ultérieures.

English

Gaussian splatting, renowned for its exceptional rendering quality and efficiency, has emerged as a prominent technique in 3D scene representation. However, the substantial data volume of Gaussian splatting impedes its practical utility in real-world applications. Herein, we propose an efficient 3D scene representation, named Compressed Gaussian Splatting (CompGS), which harnesses compact Gaussian primitives for faithful 3D scene modeling with a remarkably reduced data size. To ensure the compactness of Gaussian primitives, we devise a hybrid primitive structure that captures predictive relationships between each other. Then, we exploit a small set of anchor primitives for prediction, allowing the majority of primitives to be encapsulated into highly compact residual forms. Moreover, we develop a rate-constrained optimization scheme to eliminate redundancies within such hybrid primitives, steering our CompGS towards an optimal trade-off between bitrate consumption and representation efficacy. Experimental results show that the proposed CompGS significantly outperforms existing methods, achieving superior compactness in 3D scene representation without compromising model accuracy and rendering quality. Our code will be released on GitHub for further research.