SAGS: Splatting Gaussiano 3D Consapevole della Struttura

SAGS: Structure-Aware 3D Gaussian Splatting

April 29, 2024

Autori: Evangelos Ververas, Rolandos Alexandros Potamias, Jifei Song, Jiankang Deng, Stefanos Zafeiriou

cs.AI

Abstract

In seguito all'avvento dei NeRF, il 3D Gaussian Splatting (3D-GS) ha aperto la strada al rendering neurale in tempo reale, superando il carico computazionale dei metodi volumetrici. Seguendo il lavoro pionieristico del 3D-GS, diversi metodi hanno tentato di raggiungere alternative performanti, comprimibili e ad alta fedeltà. Tuttavia, impiegando uno schema di ottimizzazione agnostico alla geometria, questi metodi trascurano la struttura 3D intrinseca della scena, limitando così l'espressività e la qualità della rappresentazione, con conseguente comparsa di vari punti fluttuanti e artefatti. In questo lavoro, proponiamo un metodo di Gaussian Splatting consapevole della struttura (SAGS) che codifica implicitamente la geometria della scena, riflettendosi in prestazioni di rendering all'avanguardia e ridotti requisiti di memorizzazione su dataset di sintesi di nuove viste di riferimento. SAGS si basa su una rappresentazione grafica locale-globale che facilita l'apprendimento di scene complesse e impone spostamenti significativi dei punti che preservano la geometria della scena. Inoltre, introduciamo una versione leggera di SAGS, utilizzando uno schema di interpolazione del punto medio semplice ma efficace, che mostra una rappresentazione compatta della scena con una riduzione delle dimensioni fino a 24 volte senza fare affidamento su alcuna strategia di compressione. Esperimenti estesi su più dataset di riferimento dimostrano la superiorità di SAGS rispetto ai metodi 3D-GS all'avanguardia sia in termini di qualità di rendering che di dimensioni del modello. Inoltre, dimostriamo che il nostro metodo consapevole della struttura può mitigare efficacemente gli artefatti fluttuanti e le distorsioni irregolari dei metodi precedenti, ottenendo mappe di profondità precise. Pagina del progetto: https://eververas.github.io/SAGS/.

English

Following the advent of NeRFs, 3D Gaussian Splatting (3D-GS) has paved the way to real-time neural rendering overcoming the computational burden of volumetric methods. Following the pioneering work of 3D-GS, several methods have attempted to achieve compressible and high-fidelity performance alternatives. However, by employing a geometry-agnostic optimization scheme, these methods neglect the inherent 3D structure of the scene, thereby restricting the expressivity and the quality of the representation, resulting in various floating points and artifacts. In this work, we propose a structure-aware Gaussian Splatting method (SAGS) that implicitly encodes the geometry of the scene, which reflects to state-of-the-art rendering performance and reduced storage requirements on benchmark novel-view synthesis datasets. SAGS is founded on a local-global graph representation that facilitates the learning of complex scenes and enforces meaningful point displacements that preserve the scene's geometry. Additionally, we introduce a lightweight version of SAGS, using a simple yet effective mid-point interpolation scheme, which showcases a compact representation of the scene with up to 24times size reduction without the reliance on any compression strategies. Extensive experiments across multiple benchmark datasets demonstrate the superiority of SAGS compared to state-of-the-art 3D-GS methods under both rendering quality and model size. Besides, we demonstrate that our structure-aware method can effectively mitigate floating artifacts and irregular distortions of previous methods while obtaining precise depth maps. Project page https://eververas.github.io/SAGS/.