신경망 보상을 통한 스펙트럼 프루닝 가우시안 필드

Spectrally Pruned Gaussian Fields with Neural Compensation

May 1, 2024

저자: Runyi Yang, Zhenxin Zhu, Zhou Jiang, Baijun Ye, Xiaoxue Chen, Yifei Zhang, Yuantao Chen, Jian Zhao, Hao Zhao

cs.AI

초록

최근 새로운 3D 표현 방식으로서 3D 가우시안 스플래팅(3D Gaussian Splatting)이 빠른 렌더링 속도와 높은 렌더링 품질로 주목받고 있습니다. 그러나 이 방법은 높은 메모리 소비를 동반하는데, 예를 들어 잘 학습된 가우시안 필드는 300만 개의 가우시안 프리미티브와 700MB 이상의 메모리를 사용할 수 있습니다. 우리는 이러한 높은 메모리 사용량이 프리미티브 간의 관계를 고려하지 않은 데 기인한다고 판단했습니다. 본 논문에서는 스펙트럼 프루닝(spectral pruning)과 신경망 보상을 통해 메모리 효율적인 가우시안 필드인 SUNDAE를 제안합니다. 한편으로, 우리는 가우시안 프리미티브 집합에 그래프를 구성하여 그들 간의 관계를 모델링하고, 원하는 신호를 보존하면서 프리미티브를 제거하기 위한 스펙트럼 다운샘플링 모듈을 설계했습니다. 다른 한편으로, 프루닝된 가우시안의 품질 손실을 보상하기 위해, 경량 신경망 헤드를 활용하여 스플래팅된 특징을 혼합합니다. 이는 품질 손실을 효과적으로 보상하면서 프리미티브 간의 관계를 가중치에 포착합니다. 우리는 SUNDAE의 성능을 다양한 결과를 통해 입증했습니다. 예를 들어, Mip-NeRF360 데이터셋에서 SUNDAE는 104MB의 메모리를 사용하여 145 FPS로 26.80 PSNR을 달성한 반면, 기본 가우시안 스플래팅 알고리즘은 523MB의 메모리를 사용하여 160 FPS로 25.60 PSNR을 달성했습니다. 코드는 https://runyiyang.github.io/projects/SUNDAE/에서 공개되어 있습니다.

English

Recently, 3D Gaussian Splatting, as a novel 3D representation, has garnered attention for its fast rendering speed and high rendering quality. However, this comes with high memory consumption, e.g., a well-trained Gaussian field may utilize three million Gaussian primitives and over 700 MB of memory. We credit this high memory footprint to the lack of consideration for the relationship between primitives. In this paper, we propose a memory-efficient Gaussian field named SUNDAE with spectral pruning and neural compensation. On one hand, we construct a graph on the set of Gaussian primitives to model their relationship and design a spectral down-sampling module to prune out primitives while preserving desired signals. On the other hand, to compensate for the quality loss of pruning Gaussians, we exploit a lightweight neural network head to mix splatted features, which effectively compensates for quality losses while capturing the relationship between primitives in its weights. We demonstrate the performance of SUNDAE with extensive results. For example, SUNDAE can achieve 26.80 PSNR at 145 FPS using 104 MB memory while the vanilla Gaussian splatting algorithm achieves 25.60 PSNR at 160 FPS using 523 MB memory, on the Mip-NeRF360 dataset. Codes are publicly available at https://runyiyang.github.io/projects/SUNDAE/.