Champs gaussiens élagués spectralement avec compensation neuronale

Spectrally Pruned Gaussian Fields with Neural Compensation

May 1, 2024

Auteurs: Runyi Yang, Zhenxin Zhu, Zhou Jiang, Baijun Ye, Xiaoxue Chen, Yifei Zhang, Yuantao Chen, Jian Zhao, Hao Zhao

cs.AI

Résumé

Récemment, le 3D Gaussian Splatting, en tant que nouvelle représentation 3D, a attiré l'attention pour sa rapidité de rendu et sa qualité de rendu élevée. Cependant, cela s'accompagne d'une consommation de mémoire élevée, par exemple, un champ de Gaussien bien entraîné peut utiliser trois millions de primitives gaussiennes et plus de 700 Mo de mémoire. Nous attribuons cette empreinte mémoire élevée au manque de prise en compte de la relation entre les primitives. Dans cet article, nous proposons un champ de Gaussien économe en mémoire nommé SUNDAE avec élagage spectral et compensation neuronale. D'une part, nous construisons un graphe sur l'ensemble des primitives gaussiennes pour modéliser leur relation et concevons un module de sous-échantillonnage spectral pour éliminer les primitives tout en préservant les signaux souhaités. D'autre part, pour compenser la perte de qualité due à l'élagage des Gaussiennes, nous exploitons une tête de réseau neuronal légère pour mélanger les caractéristiques projetées, ce qui compense efficacement les pertes de qualité tout en capturant la relation entre les primitives dans ses poids. Nous démontrons les performances de SUNDAE avec des résultats approfondis. Par exemple, SUNDAE peut atteindre 26,80 PSNR à 145 FPS en utilisant 104 Mo de mémoire, tandis que l'algorithme de Gaussian splatting classique atteint 25,60 PSNR à 160 FPS en utilisant 523 Mo de mémoire, sur le jeu de données Mip-NeRF360. Les codes sont disponibles publiquement à l'adresse https://runyiyang.github.io/projects/SUNDAE/.

English

Recently, 3D Gaussian Splatting, as a novel 3D representation, has garnered attention for its fast rendering speed and high rendering quality. However, this comes with high memory consumption, e.g., a well-trained Gaussian field may utilize three million Gaussian primitives and over 700 MB of memory. We credit this high memory footprint to the lack of consideration for the relationship between primitives. In this paper, we propose a memory-efficient Gaussian field named SUNDAE with spectral pruning and neural compensation. On one hand, we construct a graph on the set of Gaussian primitives to model their relationship and design a spectral down-sampling module to prune out primitives while preserving desired signals. On the other hand, to compensate for the quality loss of pruning Gaussians, we exploit a lightweight neural network head to mix splatted features, which effectively compensates for quality losses while capturing the relationship between primitives in its weights. We demonstrate the performance of SUNDAE with extensive results. For example, SUNDAE can achieve 26.80 PSNR at 145 FPS using 104 MB memory while the vanilla Gaussian splatting algorithm achieves 25.60 PSNR at 160 FPS using 523 MB memory, on the Mip-NeRF360 dataset. Codes are publicly available at https://runyiyang.github.io/projects/SUNDAE/.