SAGS : Projection Gaussienne 3D Consciente de la Structure

papers.abstract

Suite à l'avènement des NeRFs, le 3D Gaussian Splatting (3D-GS) a ouvert la voie au rendu neuronal en temps réel, surmontant la charge computationnelle des méthodes volumétriques. À la suite du travail pionnier du 3D-GS, plusieurs méthodes ont tenté d'atteindre des alternatives compressibles et à haute fidélité. Cependant, en employant un schéma d'optimisation agnostique à la géométrie, ces méthodes négligent la structure 3D inhérente de la scène, limitant ainsi l'expressivité et la qualité de la représentation, ce qui entraîne divers points flottants et artefacts. Dans ce travail, nous proposons une méthode de Gaussian Splatting consciente de la structure (SAGS) qui encode implicitement la géométrie de la scène, ce qui se traduit par des performances de rendu de pointe et des besoins de stockage réduits sur des ensembles de données de synthèse de nouvelles vues. SAGS est fondée sur une représentation graphique locale-globale qui facilite l'apprentissage de scènes complexes et impose des déplacements de points significatifs qui préservent la géométrie de la scène. De plus, nous introduisons une version légère de SAGS, utilisant un schéma d'interpolation au point médian simple mais efficace, qui montre une représentation compacte de la scène avec une réduction de taille allant jusqu'à 24 fois sans recourir à aucune stratégie de compression. Des expériences approfondies sur plusieurs ensembles de données de référence démontrent la supériorité de SAGS par rapport aux méthodes 3D-GS de pointe en termes de qualité de rendu et de taille de modèle. Par ailleurs, nous montrons que notre méthode consciente de la structure peut efficacement atténuer les artefacts flottants et les distorsions irrégulières des méthodes précédentes tout en obtenant des cartes de profondeur précises. Page du projet : https://eververas.github.io/SAGS/.

English

Following the advent of NeRFs, 3D Gaussian Splatting (3D-GS) has paved the way to real-time neural rendering overcoming the computational burden of volumetric methods. Following the pioneering work of 3D-GS, several methods have attempted to achieve compressible and high-fidelity performance alternatives. However, by employing a geometry-agnostic optimization scheme, these methods neglect the inherent 3D structure of the scene, thereby restricting the expressivity and the quality of the representation, resulting in various floating points and artifacts. In this work, we propose a structure-aware Gaussian Splatting method (SAGS) that implicitly encodes the geometry of the scene, which reflects to state-of-the-art rendering performance and reduced storage requirements on benchmark novel-view synthesis datasets. SAGS is founded on a local-global graph representation that facilitates the learning of complex scenes and enforces meaningful point displacements that preserve the scene's geometry. Additionally, we introduce a lightweight version of SAGS, using a simple yet effective mid-point interpolation scheme, which showcases a compact representation of the scene with up to 24times size reduction without the reliance on any compression strategies. Extensive experiments across multiple benchmark datasets demonstrate the superiority of SAGS compared to state-of-the-art 3D-GS methods under both rendering quality and model size. Besides, we demonstrate that our structure-aware method can effectively mitigate floating artifacts and irregular distortions of previous methods while obtaining precise depth maps. Project page https://eververas.github.io/SAGS/.

SAGS : Projection Gaussienne 3D Consciente de la Structure

SAGS: Structure-Aware 3D Gaussian Splatting

papers.abstract

Support