NeuralGS: Het overbruggen van neurale velden en 3D Gaussian Splatting voor compacte 3D-representaties

NeuralGS: Bridging Neural Fields and 3D Gaussian Splatting for Compact 3D Representations

March 29, 2025

Auteurs: Zhenyu Tang, Chaoran Feng, Xinhua Cheng, Wangbo Yu, Junwu Zhang, Yuan Liu, Xiaoxiao Long, Wenping Wang, Li Yuan

cs.AI

Samenvatting

3D Gaussian Splatting (3DGS) toont superieure kwaliteit en renderingsnelheid, maar vereist miljoenen 3D Gaussians en brengt aanzienlijke opslag- en transmissiekosten met zich mee. Recente 3DGS-compressiemethoden richten zich voornamelijk op het comprimeren van Scaffold-GS, wat indrukwekkende prestaties oplevert, maar met een extra voxelstructuur en een complexe coderings- en kwantiseringsstrategie. In dit artikel streven we ernaar een eenvoudige maar effectieve methode te ontwikkelen, genaamd NeuralGS, die op een andere manier de originele 3DGS comprimeert tot een compacte representatie zonder de voxelstructuur en complexe kwantiseringsstrategieën. Onze observatie is dat neurale velden zoals NeRF complexe 3D-scènes kunnen weergeven met Multi-Layer Perceptron (MLP) neurale netwerken met slechts enkele megabytes. NeuralGS maakt daarom effectief gebruik van de neurale veldrepresentatie om de attributen van 3D Gaussians te coderen met MLP's, wat slechts een kleine opslagruimte vereist, zelfs voor een grootschalige scène. Om dit te bereiken, hanteren we een clusteringstrategie en passen we de Gaussians aan met verschillende kleine MLP's voor elke cluster, gebaseerd op belangrijkheidsscores van Gaussians als aanpassingsgewichten. We experimenteren met meerdere datasets en behalen een gemiddelde modelgroottereductie van 45 keer zonder de visuele kwaliteit aan te tasten. De compressieprestaties van onze methode op de originele 3DGS zijn vergelijkbaar met de specifieke Scaffold-GS-gebaseerde compressiemethoden, wat het enorme potentieel aantoont van het direct comprimeren van de originele 3DGS met neurale velden.

English

3D Gaussian Splatting (3DGS) demonstrates superior quality and rendering speed, but with millions of 3D Gaussians and significant storage and transmission costs. Recent 3DGS compression methods mainly concentrate on compressing Scaffold-GS, achieving impressive performance but with an additional voxel structure and a complex encoding and quantization strategy. In this paper, we aim to develop a simple yet effective method called NeuralGS that explores in another way to compress the original 3DGS into a compact representation without the voxel structure and complex quantization strategies. Our observation is that neural fields like NeRF can represent complex 3D scenes with Multi-Layer Perceptron (MLP) neural networks using only a few megabytes. Thus, NeuralGS effectively adopts the neural field representation to encode the attributes of 3D Gaussians with MLPs, only requiring a small storage size even for a large-scale scene. To achieve this, we adopt a clustering strategy and fit the Gaussians with different tiny MLPs for each cluster, based on importance scores of Gaussians as fitting weights. We experiment on multiple datasets, achieving a 45-times average model size reduction without harming the visual quality. The compression performance of our method on original 3DGS is comparable to the dedicated Scaffold-GS-based compression methods, which demonstrate the huge potential of directly compressing original 3DGS with neural fields.