NeuralGS: Uniendo campos neuronales y splatting de Gaussianas 3D para representaciones 3D compactas

NeuralGS: Bridging Neural Fields and 3D Gaussian Splatting for Compact 3D Representations

March 29, 2025

Autores: Zhenyu Tang, Chaoran Feng, Xinhua Cheng, Wangbo Yu, Junwu Zhang, Yuan Liu, Xiaoxiao Long, Wenping Wang, Li Yuan

cs.AI

Resumen

El método 3D Gaussian Splatting (3DGS) demuestra una calidad superior y una velocidad de renderizado excepcional, pero con millones de Gaussianas 3D y costos significativos de almacenamiento y transmisión. Los métodos recientes de compresión de 3DGS se centran principalmente en comprimir Scaffold-GS, logrando un rendimiento impresionante pero con una estructura de vóxeles adicional y una estrategia compleja de codificación y cuantización. En este artículo, nuestro objetivo es desarrollar un método simple pero efectivo llamado NeuralGS que explore una alternativa para comprimir el 3DGS original en una representación compacta sin la estructura de vóxeles ni las estrategias complejas de cuantización. Nuestra observación es que los campos neuronales, como NeRF, pueden representar escenas 3D complejas con redes neuronales de perceptrón multicapa (MLP) utilizando solo unos pocos megabytes. Por lo tanto, NeuralGS adopta eficazmente la representación de campos neuronales para codificar los atributos de las Gaussianas 3D con MLPs, requiriendo un tamaño de almacenamiento pequeño incluso para escenas a gran escala. Para lograrlo, implementamos una estrategia de agrupamiento y ajustamos las Gaussianas con diferentes MLPs pequeños para cada grupo, basándonos en puntuaciones de importancia de las Gaussianas como pesos de ajuste. Experimentamos en múltiples conjuntos de datos, logrando una reducción promedio del tamaño del modelo de 45 veces sin afectar la calidad visual. El rendimiento de compresión de nuestro método en el 3DGS original es comparable a los métodos de compresión dedicados basados en Scaffold-GS, lo que demuestra el enorme potencial de comprimir directamente el 3DGS original con campos neuronales.

English

3D Gaussian Splatting (3DGS) demonstrates superior quality and rendering speed, but with millions of 3D Gaussians and significant storage and transmission costs. Recent 3DGS compression methods mainly concentrate on compressing Scaffold-GS, achieving impressive performance but with an additional voxel structure and a complex encoding and quantization strategy. In this paper, we aim to develop a simple yet effective method called NeuralGS that explores in another way to compress the original 3DGS into a compact representation without the voxel structure and complex quantization strategies. Our observation is that neural fields like NeRF can represent complex 3D scenes with Multi-Layer Perceptron (MLP) neural networks using only a few megabytes. Thus, NeuralGS effectively adopts the neural field representation to encode the attributes of 3D Gaussians with MLPs, only requiring a small storage size even for a large-scale scene. To achieve this, we adopt a clustering strategy and fit the Gaussians with different tiny MLPs for each cluster, based on importance scores of Gaussians as fitting weights. We experiment on multiple datasets, achieving a 45-times average model size reduction without harming the visual quality. The compression performance of our method on original 3DGS is comparable to the dedicated Scaffold-GS-based compression methods, which demonstrate the huge potential of directly compressing original 3DGS with neural fields.