Spectraal Gesnoeide Gaussische Velden met Neurale Compensatie
Spectrally Pruned Gaussian Fields with Neural Compensation
May 1, 2024
Auteurs: Runyi Yang, Zhenxin Zhu, Zhou Jiang, Baijun Ye, Xiaoxue Chen, Yifei Zhang, Yuantao Chen, Jian Zhao, Hao Zhao
cs.AI
Samenvatting
Onlangs heeft 3D Gaussian Splatting, als een nieuwe 3D-representatie, aandacht gekregen vanwege de snelle renderingsnelheid en hoge renderkwaliteit. Dit gaat echter gepaard met een hoog geheugengebruik; bijvoorbeeld kan een goed getraind Gaussisch veld drie miljoen Gaussische primitieven en meer dan 700 MB geheugen gebruiken. Wij schrijven dit hoge geheugengebruik toe aan het gebrek aan aandacht voor de relatie tussen de primitieven. In dit artikel stellen we een geheugenefficiënt Gaussisch veld voor, genaamd SUNDAE, met spectrale pruning en neurale compensatie. Enerzijds construeren we een grafiek op de verzameling van Gaussische primitieven om hun relatie te modelleren en ontwerpen we een spectrale down-sampling module om primitieven te verwijderen terwijl gewenste signalen behouden blijven. Anderzijds benutten we, om het kwaliteitsverlies door het verwijderen van Gaussische primitieven te compenseren, een lichtgewicht neuraal netwerk om gesplatte features te mixen, wat effectief kwaliteitsverliezen compenseert en tegelijkertijd de relatie tussen primitieven vastlegt in zijn gewichten. We demonstreren de prestaties van SUNDAE met uitgebreide resultaten. Zo kan SUNDAE bijvoorbeeld een PSNR van 26,80 bereiken bij 145 FPS met een geheugengebruik van 104 MB, terwijl het standaard Gaussian splatting-algoritme een PSNR van 25,60 bereikt bij 160 FPS met een geheugengebruik van 523 MB, op de Mip-NeRF360 dataset. De code is publiekelijk beschikbaar op https://runyiyang.github.io/projects/SUNDAE/.
English
Recently, 3D Gaussian Splatting, as a novel 3D representation, has garnered
attention for its fast rendering speed and high rendering quality. However,
this comes with high memory consumption, e.g., a well-trained Gaussian field
may utilize three million Gaussian primitives and over 700 MB of memory. We
credit this high memory footprint to the lack of consideration for the
relationship between primitives. In this paper, we propose a memory-efficient
Gaussian field named SUNDAE with spectral pruning and neural compensation. On
one hand, we construct a graph on the set of Gaussian primitives to model their
relationship and design a spectral down-sampling module to prune out primitives
while preserving desired signals. On the other hand, to compensate for the
quality loss of pruning Gaussians, we exploit a lightweight neural network head
to mix splatted features, which effectively compensates for quality losses
while capturing the relationship between primitives in its weights. We
demonstrate the performance of SUNDAE with extensive results. For example,
SUNDAE can achieve 26.80 PSNR at 145 FPS using 104 MB memory while the vanilla
Gaussian splatting algorithm achieves 25.60 PSNR at 160 FPS using 523 MB
memory, on the Mip-NeRF360 dataset. Codes are publicly available at
https://runyiyang.github.io/projects/SUNDAE/.