SAGS: Struktur-bewusstes 3D-Gauß-Splatting

SAGS: Structure-Aware 3D Gaussian Splatting

April 29, 2024

Autoren: Evangelos Ververas, Rolandos Alexandros Potamias, Jifei Song, Jiankang Deng, Stefanos Zafeiriou

cs.AI

Zusammenfassung

Nach dem Aufkommen von NeRFs hat die 3D-Gaussian Splatting (3D-GS) den Weg zur Echtzeit-Neuralrendervorlage geebnet, wodurch die Rechenlast volumetrischer Methoden überwunden wurde. Nach der wegweisenden Arbeit von 3D-GS haben mehrere Methoden versucht, komprimierbare und hochwertige Leistungsalternativen zu erreichen. Allerdings vernachlässigen diese Methoden durch die Verwendung eines geometrieagnostischen Optimierungsschemas die inhärente 3D-Struktur der Szene, was die Ausdruckskraft und Qualität der Darstellung einschränkt und zu verschiedenen Gleitkommafehlern und Artefakten führt. In dieser Arbeit schlagen wir eine strukturbewusste Gaussian Splatting-Methode (SAGS) vor, die die Geometrie der Szene implizit codiert, was sich in modernster Rendervorlagenleistung und reduzierten Speicheranforderungen in Benchmark-Neuansichtssynthesedatensätzen widerspiegelt. SAGS basiert auf einer lokalen-globalen Graphendarstellung, die das Lernen komplexer Szenen erleichtert und sinnvolle Punktverschiebungen erzwingt, die die Geometrie der Szene bewahren. Darüber hinaus stellen wir eine leichtgewichtige Version von SAGS vor, die ein einfaches, aber effektives Mittelpunktinterpolationsverfahren verwendet, und eine kompakte Darstellung der Szene mit einer bis zu 24-fachen Größenreduzierung ohne Abhängigkeit von Kompressionsstrategien zeigt. Umfangreiche Experimente über mehrere Benchmark-Datensätze hinweg zeigen die Überlegenheit von SAGS gegenüber modernsten 3D-GS-Methoden sowohl hinsichtlich der Rendernqualität als auch der Modellgröße. Darüber hinaus zeigen wir, dass unsere strukturbewusste Methode Gleitartefakte und unregelmäßige Verzerrungen früherer Methoden wirksam reduzieren kann, während präzise Tiefenkarten erhalten werden. Projektseite: https://eververas.github.io/SAGS/.

English

Following the advent of NeRFs, 3D Gaussian Splatting (3D-GS) has paved the way to real-time neural rendering overcoming the computational burden of volumetric methods. Following the pioneering work of 3D-GS, several methods have attempted to achieve compressible and high-fidelity performance alternatives. However, by employing a geometry-agnostic optimization scheme, these methods neglect the inherent 3D structure of the scene, thereby restricting the expressivity and the quality of the representation, resulting in various floating points and artifacts. In this work, we propose a structure-aware Gaussian Splatting method (SAGS) that implicitly encodes the geometry of the scene, which reflects to state-of-the-art rendering performance and reduced storage requirements on benchmark novel-view synthesis datasets. SAGS is founded on a local-global graph representation that facilitates the learning of complex scenes and enforces meaningful point displacements that preserve the scene's geometry. Additionally, we introduce a lightweight version of SAGS, using a simple yet effective mid-point interpolation scheme, which showcases a compact representation of the scene with up to 24times size reduction without the reliance on any compression strategies. Extensive experiments across multiple benchmark datasets demonstrate the superiority of SAGS compared to state-of-the-art 3D-GS methods under both rendering quality and model size. Besides, we demonstrate that our structure-aware method can effectively mitigate floating artifacts and irregular distortions of previous methods while obtaining precise depth maps. Project page https://eververas.github.io/SAGS/.