NeuralGS: Überbrückung von Neural Fields und 3D-Gaussian Splatting für kompakte 3D-Darstellungen

NeuralGS: Bridging Neural Fields and 3D Gaussian Splatting for Compact 3D Representations

March 29, 2025

Autoren: Zhenyu Tang, Chaoran Feng, Xinhua Cheng, Wangbo Yu, Junwu Zhang, Yuan Liu, Xiaoxiao Long, Wenping Wang, Li Yuan

cs.AI

Zusammenfassung

3D Gaussian Splatting (3DGS) zeigt eine überlegene Qualität und Renderinggeschwindigkeit, jedoch mit Millionen von 3D-Gaußverteilungen und erheblichen Speicher- und Übertragungskosten. Aktuelle 3DGS-Kompressionsmethoden konzentrieren sich hauptsächlich auf die Kompression von Scaffold-GS und erzielen beeindruckende Leistungen, jedoch mit einer zusätzlichen Voxelstruktur und einer komplexen Kodierungs- und Quantisierungsstrategie. In diesem Artikel streben wir an, eine einfache, aber effektive Methode namens NeuralGS zu entwickeln, die einen anderen Weg zur Kompression des ursprünglichen 3DGS in eine kompakte Darstellung ohne Voxelstruktur und komplexe Quantisierungsstrategien erforscht. Unsere Beobachtung ist, dass neuronale Felder wie NeRF komplexe 3D-Szenen mit Multi-Layer Perceptron (MLP)-Netzwerken mit nur wenigen Megabyte darstellen können. Daher übernimmt NeuralGS effektiv die neuronale Felddarstellung, um die Attribute der 3D-Gaußverteilungen mit MLPs zu kodieren, wobei selbst für großflächige Szenen nur ein geringer Speicherbedarf erforderlich ist. Um dies zu erreichen, verwenden wir eine Clustering-Strategie und passen die Gaußverteilungen mit verschiedenen kleinen MLPs für jedes Cluster an, basierend auf den Wichtigkeitswerten der Gaußverteilungen als Anpassungsgewichte. Wir experimentieren mit mehreren Datensätzen und erreichen eine durchschnittliche Modellgrößenreduktion um das 45-fache, ohne die visuelle Qualität zu beeinträchtigen. Die Kompressionsleistung unserer Methode auf dem ursprünglichen 3DGS ist vergleichbar mit den speziellen Scaffold-GS-basierten Kompressionsmethoden, was das enorme Potenzial der direkten Kompression des ursprünglichen 3DGS mit neuronalen Feldern demonstriert.

English

3D Gaussian Splatting (3DGS) demonstrates superior quality and rendering speed, but with millions of 3D Gaussians and significant storage and transmission costs. Recent 3DGS compression methods mainly concentrate on compressing Scaffold-GS, achieving impressive performance but with an additional voxel structure and a complex encoding and quantization strategy. In this paper, we aim to develop a simple yet effective method called NeuralGS that explores in another way to compress the original 3DGS into a compact representation without the voxel structure and complex quantization strategies. Our observation is that neural fields like NeRF can represent complex 3D scenes with Multi-Layer Perceptron (MLP) neural networks using only a few megabytes. Thus, NeuralGS effectively adopts the neural field representation to encode the attributes of 3D Gaussians with MLPs, only requiring a small storage size even for a large-scale scene. To achieve this, we adopt a clustering strategy and fit the Gaussians with different tiny MLPs for each cluster, based on importance scores of Gaussians as fitting weights. We experiment on multiple datasets, achieving a 45-times average model size reduction without harming the visual quality. The compression performance of our method on original 3DGS is comparable to the dedicated Scaffold-GS-based compression methods, which demonstrate the huge potential of directly compressing original 3DGS with neural fields.