Compact 3D Gaussische Splatting voor Statische en Dynamische Radiance Velden

Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields

August 7, 2024

Auteurs: Joo Chan Lee, Daniel Rho, Xiangyu Sun, Jong Hwan Ko, Eunbyung Park

cs.AI

Samenvatting

3D Gaussian splatting (3DGS) is recentelijk naar voren gekomen als een alternatieve representatie die gebruikmaakt van een op 3D Gaussiaanse verdelingen gebaseerde weergave en een benaderde volumetrische rendering introduceert, waardoor zeer snelle rendersnelheden en veelbelovende beeldkwaliteit worden bereikt. Bovendien hebben vervolgstudies 3DGS met succes uitgebreid naar dynamische 3D-scènes, wat het brede toepassingsbereik ervan aantoont. Een belangrijk nadeel is echter dat 3DGS en de daaropvolgende methoden een aanzienlijk aantal Gaussiaanse verdelingen vereisen om de hoge kwaliteit van de gerenderde beelden te behouden, wat een grote hoeveelheid geheugen en opslagruimte vergt. Om dit kritieke probleem aan te pakken, leggen we specifieke nadruk op twee belangrijke doelstellingen: het verminderen van het aantal Gaussiaanse punten zonder in te leveren op prestaties, en het comprimeren van Gaussiaanse attributen, zoals het gezichtsafhankelijke kleur en covariantie. Hiertoe stellen we een leerbare maskerstrategie voor die het aantal Gaussiaanse verdelingen aanzienlijk reduceert terwijl de hoge prestaties behouden blijven. Daarnaast introduceren we een compacte maar effectieve weergave van gezichtsafhankelijke kleur door gebruik te maken van een grid-gebaseerd neuraal veld in plaats van te vertrouwen op sferische harmonischen. Tot slot leren we codeboeken om de geometrische en temporele attributen compact weer te geven door middel van restvectorkwantisatie. Met modelcompressietechnieken zoals kwantisatie en entropiecodering laten we consistent een reductie van meer dan 25x in opslagruimte en een verbeterde rendersnelheid zien in vergelijking met 3DGS voor statische scènes, terwijl de kwaliteit van de scèneweergave behouden blijft. Voor dynamische scènes bereikt onze aanpak een efficiëntie van meer dan 12x in opslagruimte en behoudt het een hoogwaardige reconstructie in vergelijking met de bestaande state-of-the-art methoden. Ons werk biedt een uitgebreid raamwerk voor 3D-scèneweergave, waarbij hoge prestaties, snelle training, compactheid en real-time rendering worden bereikt. Onze projectpagina is beschikbaar op https://maincold2.github.io/c3dgs/.

English

3D Gaussian splatting (3DGS) has recently emerged as an alternative representation that leverages a 3D Gaussian-based representation and introduces an approximated volumetric rendering, achieving very fast rendering speed and promising image quality. Furthermore, subsequent studies have successfully extended 3DGS to dynamic 3D scenes, demonstrating its wide range of applications. However, a significant drawback arises as 3DGS and its following methods entail a substantial number of Gaussians to maintain the high fidelity of the rendered images, which requires a large amount of memory and storage. To address this critical issue, we place a specific emphasis on two key objectives: reducing the number of Gaussian points without sacrificing performance and compressing the Gaussian attributes, such as view-dependent color and covariance. To this end, we propose a learnable mask strategy that significantly reduces the number of Gaussians while preserving high performance. In addition, we propose a compact but effective representation of view-dependent color by employing a grid-based neural field rather than relying on spherical harmonics. Finally, we learn codebooks to compactly represent the geometric and temporal attributes by residual vector quantization. With model compression techniques such as quantization and entropy coding, we consistently show over 25x reduced storage and enhanced rendering speed compared to 3DGS for static scenes, while maintaining the quality of the scene representation. For dynamic scenes, our approach achieves more than 12x storage efficiency and retains a high-quality reconstruction compared to the existing state-of-the-art methods. Our work provides a comprehensive framework for 3D scene representation, achieving high performance, fast training, compactness, and real-time rendering. Our project page is available at https://maincold2.github.io/c3dgs/.