SAGS: Structuurbewust 3D Gaussisch Splatten

Samenvatting

Na de opkomst van NeRFs heeft 3D Gaussian Splatting (3D-GS) de weg vrijgemaakt voor real-time neurale rendering door de rekenlast van volumetrische methoden te overwinnen. Na het baanbrekende werk van 3D-GS hebben verschillende methoden geprobeerd om compressibele en hoogwaardige alternatieven te realiseren. Door echter een geometrie-agnostisch optimalisatieschema te gebruiken, negeren deze methoden de inherente 3D-structuur van de scène, wat de expressiviteit en de kwaliteit van de representatie beperkt, wat resulteert in verschillende zwevende punten en artefacten. In dit werk stellen we een structuurbewuste Gaussian Splatting-methode (SAGS) voor die impliciet de geometrie van de scène codeert, wat zich vertaalt in state-of-the-art renderingprestaties en verminderde opslagvereisten op benchmark datasets voor nieuwe-weergave-synthese. SAGS is gebaseerd op een lokaal-globale grafiekrepresentatie die het leren van complexe scènes vergemakkelijkt en betekenisvolle puntverplaatsingen afdwingt die de geometrie van de scène behouden. Daarnaast introduceren we een lichtgewicht versie van SAGS, die gebruikmaakt van een eenvoudig maar effectief mid-point interpolatieschema, wat een compacte representatie van de scène laat zien met een groottevermindering tot 24 keer, zonder afhankelijk te zijn van compressiestrategieën. Uitgebreide experimenten op meerdere benchmark datasets tonen de superioriteit van SAGS aan in vergelijking met state-of-the-art 3D-GS-methoden, zowel op het gebied van renderingkwaliteit als modelgrootte. Daarnaast laten we zien dat onze structuurbewuste methode effectief zwevende artefacten en onregelmatige vervormingen van eerdere methoden kan verminderen, terwijl nauwkeurige dieptekaarten worden verkregen. Projectpagina https://eververas.github.io/SAGS/.

English

Following the advent of NeRFs, 3D Gaussian Splatting (3D-GS) has paved the way to real-time neural rendering overcoming the computational burden of volumetric methods. Following the pioneering work of 3D-GS, several methods have attempted to achieve compressible and high-fidelity performance alternatives. However, by employing a geometry-agnostic optimization scheme, these methods neglect the inherent 3D structure of the scene, thereby restricting the expressivity and the quality of the representation, resulting in various floating points and artifacts. In this work, we propose a structure-aware Gaussian Splatting method (SAGS) that implicitly encodes the geometry of the scene, which reflects to state-of-the-art rendering performance and reduced storage requirements on benchmark novel-view synthesis datasets. SAGS is founded on a local-global graph representation that facilitates the learning of complex scenes and enforces meaningful point displacements that preserve the scene's geometry. Additionally, we introduce a lightweight version of SAGS, using a simple yet effective mid-point interpolation scheme, which showcases a compact representation of the scene with up to 24times size reduction without the reliance on any compression strategies. Extensive experiments across multiple benchmark datasets demonstrate the superiority of SAGS compared to state-of-the-art 3D-GS methods under both rendering quality and model size. Besides, we demonstrate that our structure-aware method can effectively mitigate floating artifacts and irregular distortions of previous methods while obtaining precise depth maps. Project page https://eververas.github.io/SAGS/.

SAGS: Structuurbewust 3D Gaussisch Splatten

SAGS: Structure-Aware 3D Gaussian Splatting

Samenvatting

Support