Splatting 3D Compatto per Campi di Radianza Statici e Dinamici

Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields

August 7, 2024

Autori: Joo Chan Lee, Daniel Rho, Xiangyu Sun, Jong Hwan Ko, Eunbyung Park

cs.AI

Abstract

Il 3D Gaussian splatting (3DGS) è emerso recentemente come una rappresentazione alternativa che sfrutta una rappresentazione basata su Gaussiane 3D e introduce un rendering volumetrico approssimato, raggiungendo una velocità di rendering molto elevata e una qualità dell'immagine promettente. Inoltre, studi successivi hanno esteso con successo il 3DGS a scene 3D dinamiche, dimostrandone la vasta gamma di applicazioni. Tuttavia, un significativo svantaggio emerge poiché il 3DGS e i metodi che ne derivano richiedono un numero sostanziale di Gaussiane per mantenere l'alta fedeltà delle immagini renderizzate, il che comporta un elevato consumo di memoria e spazio di archiviazione. Per affrontare questo problema critico, poniamo particolare enfasi su due obiettivi chiave: ridurre il numero di punti Gaussiani senza sacrificare le prestazioni e comprimere gli attributi delle Gaussiane, come il colore dipendente dalla vista e la covarianza. A tal fine, proponiamo una strategia di maschera apprendibile che riduce significativamente il numero di Gaussiane mantenendo alte prestazioni. Inoltre, proponiamo una rappresentazione compatta ma efficace del colore dipendente dalla vista utilizzando un campo neurale basato su griglia piuttosto che affidandoci alle armoniche sferiche. Infine, apprendiamo codebook per rappresentare in modo compatto gli attributi geometrici e temporali mediante quantizzazione vettoriale residua. Con tecniche di compressione del modello come la quantizzazione e la codifica entropica, dimostriamo costantemente una riduzione dello spazio di archiviazione di oltre 25x e una velocità di rendering migliorata rispetto al 3DGS per scene statiche, mantenendo la qualità della rappresentazione della scena. Per le scene dinamiche, il nostro approccio raggiunge un'efficienza di archiviazione superiore a 12x e conserva una ricostruzione di alta qualità rispetto ai metodi esistenti all'avanguardia. Il nostro lavoro fornisce un framework completo per la rappresentazione di scene 3D, raggiungendo alte prestazioni, addestramento rapido, compattezza e rendering in tempo reale. La pagina del nostro progetto è disponibile all'indirizzo https://maincold2.github.io/c3dgs/.

English

3D Gaussian splatting (3DGS) has recently emerged as an alternative representation that leverages a 3D Gaussian-based representation and introduces an approximated volumetric rendering, achieving very fast rendering speed and promising image quality. Furthermore, subsequent studies have successfully extended 3DGS to dynamic 3D scenes, demonstrating its wide range of applications. However, a significant drawback arises as 3DGS and its following methods entail a substantial number of Gaussians to maintain the high fidelity of the rendered images, which requires a large amount of memory and storage. To address this critical issue, we place a specific emphasis on two key objectives: reducing the number of Gaussian points without sacrificing performance and compressing the Gaussian attributes, such as view-dependent color and covariance. To this end, we propose a learnable mask strategy that significantly reduces the number of Gaussians while preserving high performance. In addition, we propose a compact but effective representation of view-dependent color by employing a grid-based neural field rather than relying on spherical harmonics. Finally, we learn codebooks to compactly represent the geometric and temporal attributes by residual vector quantization. With model compression techniques such as quantization and entropy coding, we consistently show over 25x reduced storage and enhanced rendering speed compared to 3DGS for static scenes, while maintaining the quality of the scene representation. For dynamic scenes, our approach achieves more than 12x storage efficiency and retains a high-quality reconstruction compared to the existing state-of-the-art methods. Our work provides a comprehensive framework for 3D scene representation, achieving high performance, fast training, compactness, and real-time rendering. Our project page is available at https://maincold2.github.io/c3dgs/.