NeuralGS: Conectando Campos Neurais e Splatting Gaussiano 3D para Representações Compactas em 3D

NeuralGS: Bridging Neural Fields and 3D Gaussian Splatting for Compact 3D Representations

March 29, 2025

Autores: Zhenyu Tang, Chaoran Feng, Xinhua Cheng, Wangbo Yu, Junwu Zhang, Yuan Liu, Xiaoxiao Long, Wenping Wang, Li Yuan

cs.AI

Resumo

O método 3D Gaussian Splatting (3DGS) demonstra qualidade superior e velocidade de renderização, mas envolve milhões de Gaussianas 3D e custos significativos de armazenamento e transmissão. Métodos recentes de compressão de 3DGS concentram-se principalmente na compressão do Scaffold-GS, alcançando desempenho impressionante, mas com uma estrutura de voxel adicional e uma estratégia complexa de codificação e quantização. Neste artigo, buscamos desenvolver um método simples, porém eficaz, chamado NeuralGS, que explora uma abordagem alternativa para comprimir o 3DGS original em uma representação compacta, sem a estrutura de voxel e as estratégias complexas de quantização. Nossa observação é que campos neurais, como o NeRF, podem representar cenas 3D complexas com redes neurais Multi-Layer Perceptron (MLP) usando apenas alguns megabytes. Assim, o NeuralGS adota efetivamente a representação de campo neural para codificar os atributos das Gaussianas 3D com MLPs, exigindo apenas um pequeno tamanho de armazenamento, mesmo para cenas em grande escala. Para isso, adotamos uma estratégia de agrupamento e ajustamos as Gaussianas com diferentes MLPs pequenos para cada grupo, com base em escores de importância das Gaussianas como pesos de ajuste. Realizamos experimentos em múltiplos conjuntos de dados, alcançando uma redução média de 45 vezes no tamanho do modelo sem prejudicar a qualidade visual. O desempenho de compressão do nosso método no 3DGS original é comparável aos métodos de compressão dedicados baseados em Scaffold-GS, o que demonstra o enorme potencial de comprimir diretamente o 3DGS original com campos neurais.

English

3D Gaussian Splatting (3DGS) demonstrates superior quality and rendering speed, but with millions of 3D Gaussians and significant storage and transmission costs. Recent 3DGS compression methods mainly concentrate on compressing Scaffold-GS, achieving impressive performance but with an additional voxel structure and a complex encoding and quantization strategy. In this paper, we aim to develop a simple yet effective method called NeuralGS that explores in another way to compress the original 3DGS into a compact representation without the voxel structure and complex quantization strategies. Our observation is that neural fields like NeRF can represent complex 3D scenes with Multi-Layer Perceptron (MLP) neural networks using only a few megabytes. Thus, NeuralGS effectively adopts the neural field representation to encode the attributes of 3D Gaussians with MLPs, only requiring a small storage size even for a large-scale scene. To achieve this, we adopt a clustering strategy and fit the Gaussians with different tiny MLPs for each cluster, based on importance scores of Gaussians as fitting weights. We experiment on multiple datasets, achieving a 45-times average model size reduction without harming the visual quality. The compression performance of our method on original 3DGS is comparable to the dedicated Scaffold-GS-based compression methods, which demonstrate the huge potential of directly compressing original 3DGS with neural fields.