スペクトルプルーニングされたガウシアンフィールドとニューラル補償

Spectrally Pruned Gaussian Fields with Neural Compensation

May 1, 2024

著者: Runyi Yang, Zhenxin Zhu, Zhou Jiang, Baijun Ye, Xiaoxue Chen, Yifei Zhang, Yuantao Chen, Jian Zhao, Hao Zhao

cs.AI

要旨

最近、3Dガウシアンスプラッティングは、新しい3D表現として、高速なレンダリング速度と高品質なレンダリング品質で注目を集めています。しかし、これには高いメモリ消費が伴い、例えば、十分に訓練されたガウシアンフィールドは300万個のガウシアンプリミティブと700MB以上のメモリを消費する可能性があります。この高いメモリ使用量は、プリミティブ間の関係性が考慮されていないことに起因すると考えられます。本論文では、スペクトルプルーニングとニューラル補償を備えたメモリ効率の良いガウシアンフィールド「SUNDAE」を提案します。一方では、ガウシアンプリミティブの集合上にグラフを構築してそれらの関係性をモデル化し、望ましい信号を保持しながらプリミティブを削減するスペクトルダウンサンプリングモジュールを設計します。他方では、プルーニングされたガウシアンの品質損失を補償するために、軽量なニューラルネットワークヘッドを利用してスプラッティングされた特徴を混合し、その重みにプリミティブ間の関係性を捉えることで効果的に品質損失を補償します。SUNDAEの性能を広範な結果で示します。例えば、Mip-NeRF360データセットにおいて、SUNDAEは104MBのメモリを使用して145FPSで26.80PSNRを達成し、一方で従来のガウシアンスプラッティングアルゴリズムは523MBのメモリを使用して160FPSで25.60PSNRを達成します。コードはhttps://runyiyang.github.io/projects/SUNDAE/で公開されています。

English

Recently, 3D Gaussian Splatting, as a novel 3D representation, has garnered attention for its fast rendering speed and high rendering quality. However, this comes with high memory consumption, e.g., a well-trained Gaussian field may utilize three million Gaussian primitives and over 700 MB of memory. We credit this high memory footprint to the lack of consideration for the relationship between primitives. In this paper, we propose a memory-efficient Gaussian field named SUNDAE with spectral pruning and neural compensation. On one hand, we construct a graph on the set of Gaussian primitives to model their relationship and design a spectral down-sampling module to prune out primitives while preserving desired signals. On the other hand, to compensate for the quality loss of pruning Gaussians, we exploit a lightweight neural network head to mix splatted features, which effectively compensates for quality losses while capturing the relationship between primitives in its weights. We demonstrate the performance of SUNDAE with extensive results. For example, SUNDAE can achieve 26.80 PSNR at 145 FPS using 104 MB memory while the vanilla Gaussian splatting algorithm achieves 25.60 PSNR at 160 FPS using 523 MB memory, on the Mip-NeRF360 dataset. Codes are publicly available at https://runyiyang.github.io/projects/SUNDAE/.