NeuralGS: ニューラルフィールドと3Dガウシアンスプラッティングを統合したコンパクトな3D表現

NeuralGS: Bridging Neural Fields and 3D Gaussian Splatting for Compact 3D Representations

March 29, 2025

著者: Zhenyu Tang, Chaoran Feng, Xinhua Cheng, Wangbo Yu, Junwu Zhang, Yuan Liu, Xiaoxiao Long, Wenping Wang, Li Yuan

cs.AI

要旨

3D Gaussian Splatting (3DGS)は優れた品質とレンダリング速度を実証していますが、数百万の3Dガウシアンと大きなストレージおよび伝送コストを伴います。最近の3DGS圧縮手法は主にScaffold-GSの圧縮に焦点を当て、印象的な性能を達成していますが、追加のボクセル構造と複雑なエンコーディングおよび量子化戦略を必要とします。本論文では、ボクセル構造や複雑な量子化戦略なしに、元の3DGSをコンパクトな表現に圧縮する別の方法を探る、シンプルで効果的な手法であるNeuralGSを開発することを目指します。私たちの観察によると、NeRFのようなニューラルフィールドは、わずか数メガバイトで複雑な3Dシーンを多層パーセプトロン（MLP）ニューラルネットワークで表現できます。したがって、NeuralGSはニューラルフィールド表現を効果的に採用し、3Dガウシアンの属性をMLPでエンコードし、大規模なシーンでも小さなストレージサイズしか必要としません。これを実現するために、クラスタリング戦略を採用し、ガウシアンの重要度スコアをフィッティングの重みとして、各クラスタに異なる小さなMLPでガウシアンをフィットさせます。複数のデータセットで実験を行い、視覚品質を損なうことなく平均45倍のモデルサイズ削減を達成しました。元の3DGSに対する本手法の圧縮性能は、専用のScaffold-GSベースの圧縮手法に匹敵し、ニューラルフィールドで直接元の3DGSを圧縮する大きな可能性を示しています。

English

3D Gaussian Splatting (3DGS) demonstrates superior quality and rendering speed, but with millions of 3D Gaussians and significant storage and transmission costs. Recent 3DGS compression methods mainly concentrate on compressing Scaffold-GS, achieving impressive performance but with an additional voxel structure and a complex encoding and quantization strategy. In this paper, we aim to develop a simple yet effective method called NeuralGS that explores in another way to compress the original 3DGS into a compact representation without the voxel structure and complex quantization strategies. Our observation is that neural fields like NeRF can represent complex 3D scenes with Multi-Layer Perceptron (MLP) neural networks using only a few megabytes. Thus, NeuralGS effectively adopts the neural field representation to encode the attributes of 3D Gaussians with MLPs, only requiring a small storage size even for a large-scale scene. To achieve this, we adopt a clustering strategy and fit the Gaussians with different tiny MLPs for each cluster, based on importance scores of Gaussians as fitting weights. We experiment on multiple datasets, achieving a 45-times average model size reduction without harming the visual quality. The compression performance of our method on original 3DGS is comparable to the dedicated Scaffold-GS-based compression methods, which demonstrate the huge potential of directly compressing original 3DGS with neural fields.