Campi Gaussiani Potati Spettralmente con Compensazione Neurale
Spectrally Pruned Gaussian Fields with Neural Compensation
May 1, 2024
Autori: Runyi Yang, Zhenxin Zhu, Zhou Jiang, Baijun Ye, Xiaoxue Chen, Yifei Zhang, Yuantao Chen, Jian Zhao, Hao Zhao
cs.AI
Abstract
Recentemente, il 3D Gaussian Splatting, come nuova rappresentazione 3D, ha attirato l'attenzione per la sua velocità di rendering rapida e l'alta qualità di rendering. Tuttavia, ciò comporta un elevato consumo di memoria, ad esempio, un campo Gaussiano ben addestrato può utilizzare tre milioni di primitive Gaussiane e oltre 700 MB di memoria. Attribuiamo questo elevato consumo di memoria alla mancanza di considerazione per la relazione tra le primitive. In questo articolo, proponiamo un campo Gaussiano efficiente in termini di memoria chiamato SUNDAE con potatura spettrale e compensazione neurale. Da un lato, costruiamo un grafico sull'insieme delle primitive Gaussiane per modellare la loro relazione e progettiamo un modulo di down-sampling spettrale per eliminare le primitive preservando i segnali desiderati. Dall'altro lato, per compensare la perdita di qualità dovuta alla potatura delle Gaussiane, sfruttiamo una testa di rete neurale leggera per miscelare le caratteristiche splat, che compensa efficacemente le perdite di qualità catturando la relazione tra le primitive nei suoi pesi. Dimostriamo le prestazioni di SUNDAE con risultati estesi. Ad esempio, SUNDAE può raggiungere 26.80 PSNR a 145 FPS utilizzando 104 MB di memoria, mentre l'algoritmo vanilla di Gaussian splatting raggiunge 25.60 PSNR a 160 FPS utilizzando 523 MB di memoria, sul dataset Mip-NeRF360. I codici sono disponibili pubblicamente all'indirizzo https://runyiyang.github.io/projects/SUNDAE/.
English
Recently, 3D Gaussian Splatting, as a novel 3D representation, has garnered
attention for its fast rendering speed and high rendering quality. However,
this comes with high memory consumption, e.g., a well-trained Gaussian field
may utilize three million Gaussian primitives and over 700 MB of memory. We
credit this high memory footprint to the lack of consideration for the
relationship between primitives. In this paper, we propose a memory-efficient
Gaussian field named SUNDAE with spectral pruning and neural compensation. On
one hand, we construct a graph on the set of Gaussian primitives to model their
relationship and design a spectral down-sampling module to prune out primitives
while preserving desired signals. On the other hand, to compensate for the
quality loss of pruning Gaussians, we exploit a lightweight neural network head
to mix splatted features, which effectively compensates for quality losses
while capturing the relationship between primitives in its weights. We
demonstrate the performance of SUNDAE with extensive results. For example,
SUNDAE can achieve 26.80 PSNR at 145 FPS using 104 MB memory while the vanilla
Gaussian splatting algorithm achieves 25.60 PSNR at 160 FPS using 523 MB
memory, on the Mip-NeRF360 dataset. Codes are publicly available at
https://runyiyang.github.io/projects/SUNDAE/.