GES: 효율적인 복사장 렌더링을 위한 일반화된 지수 스플래팅

GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering

February 15, 2024

저자: Abdullah Hamdi, Luke Melas-Kyriazi, Guocheng Qian, Jinjie Mai, Ruoshi Liu, Carl Vondrick, Bernard Ghanem, Andrea Vedaldi

cs.AI

초록

3D 가우시안 스플래팅의 발전은 3D 재구성 및 생성 속도를 크게 가속화했습니다. 그러나 이 방법은 많은 수의 가우시안을 필요로 하여 상당한 메모리 사용량을 초래할 수 있습니다. 본 논문에서는 일반화 지수 함수(Generalized Exponential Function, GEF)를 사용하여 3D 장면을 모델링하는 새로운 표현 방식인 GES(Generalized Exponential Splatting)를 소개합니다. GES는 장면을 표현하는 데 필요한 입자 수를 크게 줄여 가우시안 스플래팅 방법보다 효율성이 크게 뛰어나며, 가우시안 기반 유틸리티에 대한 플러그 앤 플레이 대체 기능을 제공합니다. GES는 이론적 및 실증적으로 1D 설정과 현실적인 3D 장면에서 검증되었습니다. GES는 날카로운 경계를 가진 신호를 더 정확하게 표현하는 것으로 나타났으며, 이는 가우시안의 고유한 저역통과 특성으로 인해 일반적으로 어려운 문제입니다. 우리의 실증적 분석은 GEF가 자연 발생 신호(예: 사각형, 삼각형, 포물선 신호)를 적합하는 데 가우시안보다 우수함을 보여주어, 가우시안 스플래팅의 메모리 사용량을 증가시키는 광범위한 분할 작업의 필요성을 줄입니다. 주파수 변조 손실을 활용하여 GES는 새로운 시점 합성 벤치마크에서 경쟁력 있는 성능을 달성하면서 가우시안 스플래팅의 메모리 저장 공간의 절반 미만을 요구하고 렌더링 속도를 최대 39%까지 증가시킵니다. 코드는 프로젝트 웹사이트 https://abdullahamdi.com/ges 에서 확인할 수 있습니다.

English

Advancements in 3D Gaussian Splatting have significantly accelerated 3D reconstruction and generation. However, it may require a large number of Gaussians, which creates a substantial memory footprint. This paper introduces GES (Generalized Exponential Splatting), a novel representation that employs Generalized Exponential Function (GEF) to model 3D scenes, requiring far fewer particles to represent a scene and thus significantly outperforming Gaussian Splatting methods in efficiency with a plug-and-play replacement ability for Gaussian-based utilities. GES is validated theoretically and empirically in both principled 1D setup and realistic 3D scenes. It is shown to represent signals with sharp edges more accurately, which are typically challenging for Gaussians due to their inherent low-pass characteristics. Our empirical analysis demonstrates that GEF outperforms Gaussians in fitting natural-occurring signals (e.g. squares, triangles, and parabolic signals), thereby reducing the need for extensive splitting operations that increase the memory footprint of Gaussian Splatting. With the aid of a frequency-modulated loss, GES achieves competitive performance in novel-view synthesis benchmarks while requiring less than half the memory storage of Gaussian Splatting and increasing the rendering speed by up to 39%. The code is available on the project website https://abdullahamdi.com/ges .