CompGS: Representação Eficiente de Cenas 3D via Splatting Gaussiano Comprimido

CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting

April 15, 2024

Autores: Xiangrui Liu, Xinju Wu, Pingping Zhang, Shiqi Wang, Zhu Li, Sam Kwong

cs.AI

Resumo

O Gaussian splatting, conhecido por sua excepcional qualidade de renderização e eficiência, emergiu como uma técnica proeminente na representação de cenas 3D. No entanto, o volume substancial de dados do Gaussian splatting impede sua utilidade prática em aplicações do mundo real. Aqui, propomos uma representação eficiente de cenas 3D, denominada Compressed Gaussian Splatting (CompGS), que utiliza primitivas Gaussianas compactas para modelar fielmente cenas 3D com um tamanho de dados significativamente reduzido. Para garantir a compactação das primitivas Gaussianas, desenvolvemos uma estrutura híbrida de primitivas que captura relações preditivas entre si. Em seguida, exploramos um pequeno conjunto de primitivas âncoras para predição, permitindo que a maioria das primitivas seja encapsulada em formas residuais altamente compactas. Além disso, desenvolvemos um esquema de otimização com restrição de taxa para eliminar redundâncias dentro dessas primitivas híbridas, direcionando nosso CompGS para um equilíbrio ideal entre consumo de bitrate e eficácia de representação. Resultados experimentais mostram que o CompGS proposto supera significativamente os métodos existentes, alcançando uma compactação superior na representação de cenas 3D sem comprometer a precisão do modelo e a qualidade de renderização. Nosso código será disponibilizado no GitHub para pesquisas futuras.

English

Gaussian splatting, renowned for its exceptional rendering quality and efficiency, has emerged as a prominent technique in 3D scene representation. However, the substantial data volume of Gaussian splatting impedes its practical utility in real-world applications. Herein, we propose an efficient 3D scene representation, named Compressed Gaussian Splatting (CompGS), which harnesses compact Gaussian primitives for faithful 3D scene modeling with a remarkably reduced data size. To ensure the compactness of Gaussian primitives, we devise a hybrid primitive structure that captures predictive relationships between each other. Then, we exploit a small set of anchor primitives for prediction, allowing the majority of primitives to be encapsulated into highly compact residual forms. Moreover, we develop a rate-constrained optimization scheme to eliminate redundancies within such hybrid primitives, steering our CompGS towards an optimal trade-off between bitrate consumption and representation efficacy. Experimental results show that the proposed CompGS significantly outperforms existing methods, achieving superior compactness in 3D scene representation without compromising model accuracy and rendering quality. Our code will be released on GitHub for further research.