NeuralGS : Un pont entre les champs neuronaux et le splatting gaussien 3D pour des représentations 3D compactes

NeuralGS: Bridging Neural Fields and 3D Gaussian Splatting for Compact 3D Representations

March 29, 2025

Auteurs: Zhenyu Tang, Chaoran Feng, Xinhua Cheng, Wangbo Yu, Junwu Zhang, Yuan Liu, Xiaoxiao Long, Wenping Wang, Li Yuan

cs.AI

Résumé

Le 3D Gaussian Splatting (3DGS) démontre une qualité supérieure et une vitesse de rendu exceptionnelle, mais nécessite des millions de Gaussiennes 3D, entraînant des coûts de stockage et de transmission significatifs. Les méthodes récentes de compression 3DGS se concentrent principalement sur la compression de Scaffold-GS, obtenant des performances impressionnantes mais avec une structure voxel supplémentaire et une stratégie d'encodage et de quantification complexe. Dans cet article, nous visons à développer une méthode simple mais efficace, appelée NeuralGS, qui explore une autre approche pour compresser le 3DGS original en une représentation compacte sans structure voxel ni stratégies de quantification complexes. Notre observation est que les champs neuronaux comme NeRF peuvent représenter des scènes 3D complexes avec des réseaux de neurones à perceptrons multicouches (MLP) en utilisant seulement quelques mégaoctets. Ainsi, NeuralGS adopte efficacement la représentation par champ neuronal pour encoder les attributs des Gaussiennes 3D avec des MLP, ne nécessitant qu'une petite taille de stockage même pour une scène à grande échelle. Pour y parvenir, nous utilisons une stratégie de clustering et ajustons les Gaussiennes avec différents petits MLP pour chaque cluster, en nous basant sur les scores d'importance des Gaussiennes comme poids d'ajustement. Nous expérimentons sur plusieurs ensembles de données, obtenant une réduction moyenne de la taille du modèle de 45 fois sans compromettre la qualité visuelle. La performance de compression de notre méthode sur le 3DGS original est comparable aux méthodes de compression dédiées basées sur Scaffold-GS, ce qui démontre le potentiel énorme de la compression directe du 3DGS original avec des champs neuronaux.

English

3D Gaussian Splatting (3DGS) demonstrates superior quality and rendering speed, but with millions of 3D Gaussians and significant storage and transmission costs. Recent 3DGS compression methods mainly concentrate on compressing Scaffold-GS, achieving impressive performance but with an additional voxel structure and a complex encoding and quantization strategy. In this paper, we aim to develop a simple yet effective method called NeuralGS that explores in another way to compress the original 3DGS into a compact representation without the voxel structure and complex quantization strategies. Our observation is that neural fields like NeRF can represent complex 3D scenes with Multi-Layer Perceptron (MLP) neural networks using only a few megabytes. Thus, NeuralGS effectively adopts the neural field representation to encode the attributes of 3D Gaussians with MLPs, only requiring a small storage size even for a large-scale scene. To achieve this, we adopt a clustering strategy and fit the Gaussians with different tiny MLPs for each cluster, based on importance scores of Gaussians as fitting weights. We experiment on multiple datasets, achieving a 45-times average model size reduction without harming the visual quality. The compression performance of our method on original 3DGS is comparable to the dedicated Scaffold-GS-based compression methods, which demonstrate the huge potential of directly compressing original 3DGS with neural fields.