GES: Обобщённое экспоненциальное сплаттинг для эффективного рендеринга полей излучения

GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering

February 15, 2024

Авторы: Abdullah Hamdi, Luke Melas-Kyriazi, Guocheng Qian, Jinjie Mai, Ruoshi Liu, Carl Vondrick, Bernard Ghanem, Andrea Vedaldi

cs.AI

Аннотация

Достижения в области 3D-сплатинга на основе гауссовых функций значительно ускорили процессы 3D-реконструкции и генерации. Однако этот метод может требовать большого количества гауссовых функций, что приводит к существенному увеличению объема используемой памяти. В данной статье представлен GES (Generalized Exponential Splatting) — новый метод представления, который использует обобщенную экспоненциальную функцию (Generalized Exponential Function, GEF) для моделирования 3D-сцен. Этот подход требует значительно меньшего количества частиц для представления сцены, что делает его гораздо более эффективным по сравнению с методами на основе гауссовых функций, при этом сохраняя возможность простой замены существующих утилит, основанных на гауссовых функциях. GES был теоретически и эмпирически проверен как в упрощенных одномерных настройках, так и в реалистичных 3D-сценах. Показано, что GES более точно воспроизводит сигналы с резкими границами, что обычно является сложной задачей для гауссовых функций из-за их присущих низкочастотных характеристик. Наш эмпирический анализ демонстрирует, что GEF превосходит гауссовы функции в аппроксимации естественных сигналов (например, квадратных, треугольных и параболических), что снижает необходимость в многочисленных операциях разделения, которые увеличивают объем памяти, используемый в гауссовом сплатинге. Благодаря использованию частотно-модулированной функции потерь, GES достигает конкурентоспособных результатов в тестах на синтез новых видов сцен, при этом требуя менее половины объема памяти по сравнению с гауссовым сплатингом и увеличивая скорость рендеринга до 39%. Код доступен на сайте проекта: https://abdullahamdi.com/ges.

English

Advancements in 3D Gaussian Splatting have significantly accelerated 3D reconstruction and generation. However, it may require a large number of Gaussians, which creates a substantial memory footprint. This paper introduces GES (Generalized Exponential Splatting), a novel representation that employs Generalized Exponential Function (GEF) to model 3D scenes, requiring far fewer particles to represent a scene and thus significantly outperforming Gaussian Splatting methods in efficiency with a plug-and-play replacement ability for Gaussian-based utilities. GES is validated theoretically and empirically in both principled 1D setup and realistic 3D scenes. It is shown to represent signals with sharp edges more accurately, which are typically challenging for Gaussians due to their inherent low-pass characteristics. Our empirical analysis demonstrates that GEF outperforms Gaussians in fitting natural-occurring signals (e.g. squares, triangles, and parabolic signals), thereby reducing the need for extensive splitting operations that increase the memory footprint of Gaussian Splatting. With the aid of a frequency-modulated loss, GES achieves competitive performance in novel-view synthesis benchmarks while requiring less than half the memory storage of Gaussian Splatting and increasing the rendering speed by up to 39%. The code is available on the project website https://abdullahamdi.com/ges .