SAGS: Структурно осведомленное трехмерное гауссовское наложение.

SAGS: Structure-Aware 3D Gaussian Splatting

April 29, 2024

Авторы: Evangelos Ververas, Rolandos Alexandros Potamias, Jifei Song, Jiankang Deng, Stefanos Zafeiriou

cs.AI

Аннотация

После появления NeRFs 3D Gaussian Splatting (3D-GS) открыл путь к нейронной рендерингу в реальном времени, преодолевая вычислительную нагрузку объемных методов. После первоначальной работы 3D-GS несколько методов пытались достичь сжимаемой и высококачественной производительности. Однако, используя оптимизационную схему, не зависящую от геометрии, эти методы игнорируют врожденную трехмерную структуру сцены, что ограничивает экспрессивность и качество представления, приводя к различным плавающим точкам и артефактам. В данной работе мы предлагаем метод Gaussian Splatting, основанный на структуре (SAGS), который неявно кодирует геометрию сцены, что отражается на производительности рендеринга новых видов и снижает требования к хранению на бенчмарках. SAGS основан на локально-глобальном графовом представлении, которое облегчает обучение сложных сцен и обеспечивает значимые смещения точек, сохраняющие геометрию сцены. Кроме того, мы представляем легковесную версию SAGS, используя простую, но эффективную схему интерполяции средней точки, которая демонстрирует компактное представление сцены с уменьшением размера до 24 раз без использования каких-либо стратегий сжатия. Обширные эксперименты на нескольких бенчмарках показывают превосходство SAGS по сравнению с передовыми методами 3D-GS как по качеству рендеринга, так и по размеру модели. Кроме того, мы демонстрируем, что наш метод, ориентированный на структуру, может эффективно уменьшить плавающие артефакты и нерегулярные искажения предыдущих методов, обеспечивая точные карты глубины. Страница проекта: https://eververas.github.io/SAGS/.

English

Following the advent of NeRFs, 3D Gaussian Splatting (3D-GS) has paved the way to real-time neural rendering overcoming the computational burden of volumetric methods. Following the pioneering work of 3D-GS, several methods have attempted to achieve compressible and high-fidelity performance alternatives. However, by employing a geometry-agnostic optimization scheme, these methods neglect the inherent 3D structure of the scene, thereby restricting the expressivity and the quality of the representation, resulting in various floating points and artifacts. In this work, we propose a structure-aware Gaussian Splatting method (SAGS) that implicitly encodes the geometry of the scene, which reflects to state-of-the-art rendering performance and reduced storage requirements on benchmark novel-view synthesis datasets. SAGS is founded on a local-global graph representation that facilitates the learning of complex scenes and enforces meaningful point displacements that preserve the scene's geometry. Additionally, we introduce a lightweight version of SAGS, using a simple yet effective mid-point interpolation scheme, which showcases a compact representation of the scene with up to 24times size reduction without the reliance on any compression strategies. Extensive experiments across multiple benchmark datasets demonstrate the superiority of SAGS compared to state-of-the-art 3D-GS methods under both rendering quality and model size. Besides, we demonstrate that our structure-aware method can effectively mitigate floating artifacts and irregular distortions of previous methods while obtaining precise depth maps. Project page https://eververas.github.io/SAGS/.