Splatting Gaussiano 3D Compacto para Campos de Radiância Estáticos e Dinâmicos

Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields

August 7, 2024

Autores: Joo Chan Lee, Daniel Rho, Xiangyu Sun, Jong Hwan Ko, Eunbyung Park

cs.AI

Resumo

A técnica de espalhamento gaussiano 3D (3DGS) surgiu recentemente como uma representação alternativa que utiliza uma representação baseada em Gaussianas 3D e introduz uma renderização volumétrica aproximada, alcançando uma velocidade de renderização muito rápida e qualidade de imagem promissora. Além disso, estudos subsequentes estenderam com sucesso o 3DGS para cenas 3D dinâmicas, demonstrando sua ampla gama de aplicações. No entanto, uma desvantagem significativa surge, uma vez que o 3DGS e seus métodos subsequentes envolvem um número substancial de Gaussianas para manter a alta fidelidade das imagens renderizadas, o que requer uma grande quantidade de memória e armazenamento. Para lidar com esse problema crítico, enfatizamos dois objetivos principais: reduzir o número de pontos Gaussianos sem sacrificar o desempenho e comprimir os atributos Gaussianos, como cor dependente da visão e covariância. Para isso, propomos uma estratégia de máscara aprendível que reduz significativamente o número de Gaussianas mantendo um alto desempenho. Além disso, propomos uma representação compacta, mas eficaz, da cor dependente da visão, utilizando um campo neural baseado em grade em vez de depender de harmônicos esféricos. Por fim, aprendemos livros de códigos para representar de forma compacta os atributos geométricos e temporais por meio de quantização vetorial residual. Com técnicas de compressão de modelo, como quantização e codificação de entropia, demonstramos consistentemente uma redução de armazenamento de mais de 25 vezes e uma velocidade de renderização aprimorada em comparação com o 3DGS para cenas estáticas, mantendo a qualidade da representação da cena. Para cenas dinâmicas, nossa abordagem alcança uma eficiência de armazenamento de mais de 12 vezes e mantém uma reconstrução de alta qualidade em comparação com os métodos existentes de ponta. Nosso trabalho fornece um framework abrangente para representação de cenas 3D, alcançando alto desempenho, treinamento rápido, compacidade e renderização em tempo real. Nossa página do projeto está disponível em https://maincold2.github.io/c3dgs/.

English

3D Gaussian splatting (3DGS) has recently emerged as an alternative representation that leverages a 3D Gaussian-based representation and introduces an approximated volumetric rendering, achieving very fast rendering speed and promising image quality. Furthermore, subsequent studies have successfully extended 3DGS to dynamic 3D scenes, demonstrating its wide range of applications. However, a significant drawback arises as 3DGS and its following methods entail a substantial number of Gaussians to maintain the high fidelity of the rendered images, which requires a large amount of memory and storage. To address this critical issue, we place a specific emphasis on two key objectives: reducing the number of Gaussian points without sacrificing performance and compressing the Gaussian attributes, such as view-dependent color and covariance. To this end, we propose a learnable mask strategy that significantly reduces the number of Gaussians while preserving high performance. In addition, we propose a compact but effective representation of view-dependent color by employing a grid-based neural field rather than relying on spherical harmonics. Finally, we learn codebooks to compactly represent the geometric and temporal attributes by residual vector quantization. With model compression techniques such as quantization and entropy coding, we consistently show over 25x reduced storage and enhanced rendering speed compared to 3DGS for static scenes, while maintaining the quality of the scene representation. For dynamic scenes, our approach achieves more than 12x storage efficiency and retains a high-quality reconstruction compared to the existing state-of-the-art methods. Our work provides a comprehensive framework for 3D scene representation, achieving high performance, fast training, compactness, and real-time rendering. Our project page is available at https://maincold2.github.io/c3dgs/.