Campos Gaussianos con Poda Espectral y Compensación Neuronal

Spectrally Pruned Gaussian Fields with Neural Compensation

May 1, 2024

Autores: Runyi Yang, Zhenxin Zhu, Zhou Jiang, Baijun Ye, Xiaoxue Chen, Yifei Zhang, Yuantao Chen, Jian Zhao, Hao Zhao

cs.AI

Resumen

Recientemente, el Splatting Gaussiano 3D, como una novedosa representación 3D, ha captado atención por su velocidad de renderizado rápida y alta calidad de visualización. Sin embargo, esto conlleva un alto consumo de memoria, por ejemplo, un campo Gaussiano bien entrenado puede utilizar tres millones de primitivas Gaussianas y más de 700 MB de memoria. Atribuimos este alto uso de memoria a la falta de consideración de la relación entre las primitivas. En este artículo, proponemos un campo Gaussiano eficiente en memoria llamado SUNDAE con poda espectral y compensación neuronal. Por un lado, construimos un grafo sobre el conjunto de primitivas Gaussianas para modelar su relación y diseñamos un módulo de submuestreo espectral para eliminar primitivas mientras preservamos las señales deseadas. Por otro lado, para compensar la pérdida de calidad al podar las Gaussianas, utilizamos una cabeza de red neuronal ligera para mezclar características splatting, lo que compensa efectivamente las pérdidas de calidad mientras captura la relación entre las primitivas en sus pesos. Demostramos el rendimiento de SUNDAE con resultados extensivos. Por ejemplo, SUNDAE puede alcanzar 26.80 PSNR a 145 FPS utilizando 104 MB de memoria, mientras que el algoritmo de splatting Gaussiano convencional alcanza 25.60 PSNR a 160 FPS utilizando 523 MB de memoria, en el conjunto de datos Mip-NeRF360. Los códigos están disponibles públicamente en https://runyiyang.github.io/projects/SUNDAE/.

English

Recently, 3D Gaussian Splatting, as a novel 3D representation, has garnered attention for its fast rendering speed and high rendering quality. However, this comes with high memory consumption, e.g., a well-trained Gaussian field may utilize three million Gaussian primitives and over 700 MB of memory. We credit this high memory footprint to the lack of consideration for the relationship between primitives. In this paper, we propose a memory-efficient Gaussian field named SUNDAE with spectral pruning and neural compensation. On one hand, we construct a graph on the set of Gaussian primitives to model their relationship and design a spectral down-sampling module to prune out primitives while preserving desired signals. On the other hand, to compensate for the quality loss of pruning Gaussians, we exploit a lightweight neural network head to mix splatted features, which effectively compensates for quality losses while capturing the relationship between primitives in its weights. We demonstrate the performance of SUNDAE with extensive results. For example, SUNDAE can achieve 26.80 PSNR at 145 FPS using 104 MB memory while the vanilla Gaussian splatting algorithm achieves 25.60 PSNR at 160 FPS using 523 MB memory, on the Mip-NeRF360 dataset. Codes are publicly available at https://runyiyang.github.io/projects/SUNDAE/.