Spektral beschnittene Gaußsche Felder mit neuronaler Kompensation

Spectrally Pruned Gaussian Fields with Neural Compensation

May 1, 2024

Autoren: Runyi Yang, Zhenxin Zhu, Zhou Jiang, Baijun Ye, Xiaoxue Chen, Yifei Zhang, Yuantao Chen, Jian Zhao, Hao Zhao

cs.AI

Zusammenfassung

In letzter Zeit hat das 3D-Gauß-Splatting als neuartige 3D-Darstellung Aufmerksamkeit erregt, aufgrund seiner schnellen Rendergeschwindigkeit und hohen Renderqualität. Dies geht jedoch mit einem hohen Speicherverbrauch einher, z.B. kann ein gut trainiertes Gauß-Feld drei Millionen Gauß-Primitiven und über 700 MB Speicher nutzen. Wir führen diesen hohen Speicherbedarf auf das Fehlen der Berücksichtigung der Beziehung zwischen den Primitiven zurück. In diesem Papier schlagen wir ein speichereffizientes Gauß-Feld namens SUNDAE mit spektraler Reduzierung und neuronaler Kompensation vor. Einerseits erstellen wir einen Graphen auf der Menge der Gauß-Primitiven, um ihre Beziehung zu modellieren, und entwerfen ein spektrales Down-Sampling-Modul, um Primitiven zu reduzieren, während gewünschte Signale erhalten bleiben. Andererseits, um den Qualitätsverlust beim Beschneiden von Gaußschen zu kompensieren, nutzen wir ein leichtgewichtiges neuronales Netzwerk, um gesplittete Merkmale zu mischen, was Qualitätsverluste effektiv ausgleicht, während die Beziehung zwischen den Primitiven in seinen Gewichten erfasst wird. Wir zeigen die Leistung von SUNDAE mit umfangreichen Ergebnissen auf. Beispielsweise kann SUNDAE auf dem Mip-NeRF360-Datensatz bei 145 FPS 26,80 PSNR mit 104 MB Speicher erreichen, während der herkömmliche Gauß-Splatting-Algorithmus bei 160 FPS 25,60 PSNR mit 523 MB Speicher erreicht. Die Codes sind öffentlich verfügbar unter https://runyiyang.github.io/projects/SUNDAE/.

English

Recently, 3D Gaussian Splatting, as a novel 3D representation, has garnered attention for its fast rendering speed and high rendering quality. However, this comes with high memory consumption, e.g., a well-trained Gaussian field may utilize three million Gaussian primitives and over 700 MB of memory. We credit this high memory footprint to the lack of consideration for the relationship between primitives. In this paper, we propose a memory-efficient Gaussian field named SUNDAE with spectral pruning and neural compensation. On one hand, we construct a graph on the set of Gaussian primitives to model their relationship and design a spectral down-sampling module to prune out primitives while preserving desired signals. On the other hand, to compensate for the quality loss of pruning Gaussians, we exploit a lightweight neural network head to mix splatted features, which effectively compensates for quality losses while capturing the relationship between primitives in its weights. We demonstrate the performance of SUNDAE with extensive results. For example, SUNDAE can achieve 26.80 PSNR at 145 FPS using 104 MB memory while the vanilla Gaussian splatting algorithm achieves 25.60 PSNR at 160 FPS using 523 MB memory, on the Mip-NeRF360 dataset. Codes are publicly available at https://runyiyang.github.io/projects/SUNDAE/.