Спектрально обрезанные гауссовы поля с нейронной компенсацией

Spectrally Pruned Gaussian Fields with Neural Compensation

May 1, 2024

Авторы: Runyi Yang, Zhenxin Zhu, Zhou Jiang, Baijun Ye, Xiaoxue Chen, Yifei Zhang, Yuantao Chen, Jian Zhao, Hao Zhao

cs.AI

Аннотация

Недавно трехмерное гауссовское сплетение, как новое трехмерное представление, привлекло внимание своей быстрой скоростью визуализации и высоким качеством визуализации. Однако это сопровождается высоким потреблением памяти, например, хорошо обученное гауссовское поле может использовать три миллиона гауссовских примитивов и более 700 МБ памяти. Мы приписываем это высокое потребление памяти отсутствию учета взаимосвязи между примитивами. В этой статье мы предлагаем память-эффективное гауссовское поле под названием SUNDAE с спектральной обрезкой и нейрокомпенсацией. С одной стороны, мы строим граф на множестве гауссовских примитивов для моделирования их взаимосвязи и разрабатываем модуль спектрального снижения для обрезки примитивов, сохраняя при этом желаемые сигналы. С другой стороны, чтобы компенсировать потерю качества при обрезке гауссов, мы используем легковесную нейронную сеть для смешивания сплетенных признаков, что эффективно компенсирует потери качества, сохраняя при этом веса взаимосвязи между примитивами. Мы демонстрируем производительность SUNDAE с обширными результатами. Например, SUNDAE может достичь 26.80 PSNR при 145 FPS, используя 104 МБ памяти, в то время как обычный алгоритм гауссовского сплетения достигает 25.60 PSNR при 160 FPS, используя 523 МБ памяти на наборе данных Mip-NeRF360. Коды доступны по адресу https://runyiyang.github.io/projects/SUNDAE/.

English

Recently, 3D Gaussian Splatting, as a novel 3D representation, has garnered attention for its fast rendering speed and high rendering quality. However, this comes with high memory consumption, e.g., a well-trained Gaussian field may utilize three million Gaussian primitives and over 700 MB of memory. We credit this high memory footprint to the lack of consideration for the relationship between primitives. In this paper, we propose a memory-efficient Gaussian field named SUNDAE with spectral pruning and neural compensation. On one hand, we construct a graph on the set of Gaussian primitives to model their relationship and design a spectral down-sampling module to prune out primitives while preserving desired signals. On the other hand, to compensate for the quality loss of pruning Gaussians, we exploit a lightweight neural network head to mix splatted features, which effectively compensates for quality losses while capturing the relationship between primitives in its weights. We demonstrate the performance of SUNDAE with extensive results. For example, SUNDAE can achieve 26.80 PSNR at 145 FPS using 104 MB memory while the vanilla Gaussian splatting algorithm achieves 25.60 PSNR at 160 FPS using 523 MB memory, on the Mip-NeRF360 dataset. Codes are publicly available at https://runyiyang.github.io/projects/SUNDAE/.