CompGS: Rappresentazione Efficiente di Scene 3D tramite Splatting Gaussiano Compresso

CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting

April 15, 2024

Autori: Xiangrui Liu, Xinju Wu, Pingping Zhang, Shiqi Wang, Zhu Li, Sam Kwong

cs.AI

Abstract

Il Gaussian splatting, rinomato per la sua eccezionale qualità di rendering ed efficienza, è emerso come una tecnica di rilievo nella rappresentazione di scene 3D. Tuttavia, il volume sostanziale di dati associato al Gaussian splatting ne ostacola l'utilità pratica nelle applicazioni reali. In questo lavoro, proponiamo una rappresentazione efficiente di scene 3D, denominata Compressed Gaussian Splatting (CompGS), che sfrutta primitive gaussiane compatte per una modellazione fedele delle scene 3D con una dimensione dei dati notevolmente ridotta. Per garantire la compattezza delle primitive gaussiane, abbiamo ideato una struttura ibrida di primitive che cattura le relazioni predittive tra di esse. Successivamente, utilizziamo un piccolo insieme di primitive di ancoraggio per la previsione, consentendo alla maggior parte delle primitive di essere racchiuse in forme residue altamente compatte. Inoltre, sviluppiamo uno schema di ottimizzazione vincolato al bitrate per eliminare le ridondanze all'interno di tali primitive ibride, orientando il nostro CompGS verso un compromesso ottimale tra consumo di bitrate ed efficacia della rappresentazione. I risultati sperimentali dimostrano che il CompGS proposto supera significativamente i metodi esistenti, raggiungendo una compattezza superiore nella rappresentazione di scene 3D senza compromettere l'accuratezza del modello e la qualità del rendering. Il nostro codice sarà rilasciato su GitHub per ulteriori ricerche.

English

Gaussian splatting, renowned for its exceptional rendering quality and efficiency, has emerged as a prominent technique in 3D scene representation. However, the substantial data volume of Gaussian splatting impedes its practical utility in real-world applications. Herein, we propose an efficient 3D scene representation, named Compressed Gaussian Splatting (CompGS), which harnesses compact Gaussian primitives for faithful 3D scene modeling with a remarkably reduced data size. To ensure the compactness of Gaussian primitives, we devise a hybrid primitive structure that captures predictive relationships between each other. Then, we exploit a small set of anchor primitives for prediction, allowing the majority of primitives to be encapsulated into highly compact residual forms. Moreover, we develop a rate-constrained optimization scheme to eliminate redundancies within such hybrid primitives, steering our CompGS towards an optimal trade-off between bitrate consumption and representation efficacy. Experimental results show that the proposed CompGS significantly outperforms existing methods, achieving superior compactness in 3D scene representation without compromising model accuracy and rendering quality. Our code will be released on GitHub for further research.