Campos Gaussianos Ponderados Espectralmente com Compensação Neural

Spectrally Pruned Gaussian Fields with Neural Compensation

May 1, 2024

Autores: Runyi Yang, Zhenxin Zhu, Zhou Jiang, Baijun Ye, Xiaoxue Chen, Yifei Zhang, Yuantao Chen, Jian Zhao, Hao Zhao

cs.AI

Resumo

Recentemente, o 3D Gaussian Splatting, como uma nova representação 3D, tem chamado atenção por sua rápida velocidade de renderização e alta qualidade de renderização. No entanto, isso vem acompanhado de um alto consumo de memória, por exemplo, um campo Gaussiano bem treinado pode utilizar três milhões de primitivas Gaussianas e mais de 700 MB de memória. Atribuímos esse alto consumo de memória à falta de consideração da relação entre as primitivas. Neste artigo, propomos um campo Gaussiano eficiente em memória chamado SUNDAE, com poda espectral e compensação neural. Por um lado, construímos um grafo sobre o conjunto de primitivas Gaussianas para modelar sua relação e projetamos um módulo de subamostragem espectral para podar as primitivas enquanto preservamos os sinais desejados. Por outro lado, para compensar a perda de qualidade da poda das Gaussianas, utilizamos uma cabeça de rede neural leve para misturar características splatadas, o que efetivamente compensa as perdas de qualidade enquanto captura a relação entre as primitivas em seus pesos. Demonstramos o desempenho do SUNDAE com resultados extensivos. Por exemplo, o SUNDAE pode alcançar 26,80 PSNR a 145 FPS usando 104 MB de memória, enquanto o algoritmo vanilla de Gaussian Splatting alcança 25,60 PSNR a 160 FPS usando 523 MB de memória, no conjunto de dados Mip-NeRF360. Os códigos estão publicamente disponíveis em https://runyiyang.github.io/projects/SUNDAE/.

English

Recently, 3D Gaussian Splatting, as a novel 3D representation, has garnered attention for its fast rendering speed and high rendering quality. However, this comes with high memory consumption, e.g., a well-trained Gaussian field may utilize three million Gaussian primitives and over 700 MB of memory. We credit this high memory footprint to the lack of consideration for the relationship between primitives. In this paper, we propose a memory-efficient Gaussian field named SUNDAE with spectral pruning and neural compensation. On one hand, we construct a graph on the set of Gaussian primitives to model their relationship and design a spectral down-sampling module to prune out primitives while preserving desired signals. On the other hand, to compensate for the quality loss of pruning Gaussians, we exploit a lightweight neural network head to mix splatted features, which effectively compensates for quality losses while capturing the relationship between primitives in its weights. We demonstrate the performance of SUNDAE with extensive results. For example, SUNDAE can achieve 26.80 PSNR at 145 FPS using 104 MB memory while the vanilla Gaussian splatting algorithm achieves 25.60 PSNR at 160 FPS using 523 MB memory, on the Mip-NeRF360 dataset. Codes are publicly available at https://runyiyang.github.io/projects/SUNDAE/.