GES: 効率的な放射場レンダリングのための一般化指数スプラッティング

GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering

February 15, 2024

著者: Abdullah Hamdi, Luke Melas-Kyriazi, Guocheng Qian, Jinjie Mai, Ruoshi Liu, Carl Vondrick, Bernard Ghanem, Andrea Vedaldi

cs.AI

要旨

3Dガウシアンスプラッティングの進展により、3D再構成と生成が大幅に加速されました。しかし、多数のガウシアンを必要とすることがあり、これが大きなメモリフットプリントを生み出します。本論文では、Generalized Exponential Splatting（GES）を紹介します。これは、Generalized Exponential Function（GEF）を用いて3Dシーンをモデル化する新しい表現法であり、シーンを表現するために必要な粒子数が大幅に少なく、ガウシアンベースのユーティリティに対してプラグアンドプレイの置換能力を持つことで、効率性においてガウシアンスプラッティング手法を大きく上回ります。GESは、理論的および実証的に、原理的な1D設定と現実的な3Dシーンの両方で検証されています。 GESは、鋭いエッジを持つ信号をより正確に表現することが示されており、これはガウシアンにとってはその固有のローパス特性のために通常難しい課題です。我々の実証分析では、GEFが自然発生する信号（例えば、四角形、三角形、放物線信号）のフィッティングにおいてガウシアンを上回り、ガウシアンスプラッティングのメモリフットプリントを増加させる広範な分割操作の必要性を減らすことが示されています。周波数変調損失を利用することで、GESは新規視点合成ベンチマークにおいて競争力のある性能を達成し、ガウシアンスプラッティングの半分以下のメモリ使用量で、レンダリング速度を最大39％向上させます。コードはプロジェクトウェブサイトhttps://abdullahamdi.com/gesで公開されています。

English

Advancements in 3D Gaussian Splatting have significantly accelerated 3D reconstruction and generation. However, it may require a large number of Gaussians, which creates a substantial memory footprint. This paper introduces GES (Generalized Exponential Splatting), a novel representation that employs Generalized Exponential Function (GEF) to model 3D scenes, requiring far fewer particles to represent a scene and thus significantly outperforming Gaussian Splatting methods in efficiency with a plug-and-play replacement ability for Gaussian-based utilities. GES is validated theoretically and empirically in both principled 1D setup and realistic 3D scenes. It is shown to represent signals with sharp edges more accurately, which are typically challenging for Gaussians due to their inherent low-pass characteristics. Our empirical analysis demonstrates that GEF outperforms Gaussians in fitting natural-occurring signals (e.g. squares, triangles, and parabolic signals), thereby reducing the need for extensive splitting operations that increase the memory footprint of Gaussian Splatting. With the aid of a frequency-modulated loss, GES achieves competitive performance in novel-view synthesis benchmarks while requiring less than half the memory storage of Gaussian Splatting and increasing the rendering speed by up to 39%. The code is available on the project website https://abdullahamdi.com/ges .