Compact 3D Gaussian Splatting pour les champs de radiance statiques et dynamiques

Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields

August 7, 2024

Auteurs: Joo Chan Lee, Daniel Rho, Xiangyu Sun, Jong Hwan Ko, Eunbyung Park

cs.AI

Résumé

Le splatting 3D Gaussien (3DGS) a récemment émergé comme une représentation alternative qui exploite une représentation basée sur des Gaussiennes 3D et introduit un rendu volumétrique approximatif, atteignant une vitesse de rendu très rapide et une qualité d'image prometteuse. De plus, des études ultérieures ont réussi à étendre le 3DGS à des scènes 3D dynamiques, démontrant ainsi son large éventail d'applications. Cependant, un inconvénient majeur apparaît car le 3DGS et ses méthodes dérivées nécessitent un nombre substantiel de Gaussiennes pour maintenir la haute fidélité des images rendues, ce qui exige une grande quantité de mémoire et de stockage. Pour résoudre ce problème critique, nous mettons l'accent sur deux objectifs clés : réduire le nombre de points Gaussien sans sacrifier les performances et compresser les attributs des Gaussiennes, tels que la couleur dépendante de la vue et la covariance. À cette fin, nous proposons une stratégie de masque apprenable qui réduit considérablement le nombre de Gaussiennes tout en préservant des performances élevées. En outre, nous proposons une représentation compacte mais efficace de la couleur dépendante de la vue en utilisant un champ neuronal basé sur une grille plutôt que de s'appuyer sur les harmoniques sphériques. Enfin, nous apprenons des codebooks pour représenter de manière compacte les attributs géométriques et temporels par quantification vectorielle résiduelle. Avec des techniques de compression de modèle telles que la quantification et le codage entropique, nous montrons systématiquement une réduction de plus de 25x du stockage et une amélioration de la vitesse de rendu par rapport au 3DGS pour les scènes statiques, tout en maintenant la qualité de la représentation de la scène. Pour les scènes dynamiques, notre approche atteint une efficacité de stockage de plus de 12x et conserve une reconstruction de haute qualité par rapport aux méthodes existantes de pointe. Notre travail fournit un cadre complet pour la représentation de scènes 3D, atteignant des performances élevées, un apprentissage rapide, une compacité et un rendu en temps réel. Notre page de projet est disponible à l'adresse https://maincold2.github.io/c3dgs/.

English

3D Gaussian splatting (3DGS) has recently emerged as an alternative representation that leverages a 3D Gaussian-based representation and introduces an approximated volumetric rendering, achieving very fast rendering speed and promising image quality. Furthermore, subsequent studies have successfully extended 3DGS to dynamic 3D scenes, demonstrating its wide range of applications. However, a significant drawback arises as 3DGS and its following methods entail a substantial number of Gaussians to maintain the high fidelity of the rendered images, which requires a large amount of memory and storage. To address this critical issue, we place a specific emphasis on two key objectives: reducing the number of Gaussian points without sacrificing performance and compressing the Gaussian attributes, such as view-dependent color and covariance. To this end, we propose a learnable mask strategy that significantly reduces the number of Gaussians while preserving high performance. In addition, we propose a compact but effective representation of view-dependent color by employing a grid-based neural field rather than relying on spherical harmonics. Finally, we learn codebooks to compactly represent the geometric and temporal attributes by residual vector quantization. With model compression techniques such as quantization and entropy coding, we consistently show over 25x reduced storage and enhanced rendering speed compared to 3DGS for static scenes, while maintaining the quality of the scene representation. For dynamic scenes, our approach achieves more than 12x storage efficiency and retains a high-quality reconstruction compared to the existing state-of-the-art methods. Our work provides a comprehensive framework for 3D scene representation, achieving high performance, fast training, compactness, and real-time rendering. Our project page is available at https://maincold2.github.io/c3dgs/.