SAGS: Proyección de Gaussianos 3D con Conciencia Estructural

SAGS: Structure-Aware 3D Gaussian Splatting

April 29, 2024

Autores: Evangelos Ververas, Rolandos Alexandros Potamias, Jifei Song, Jiankang Deng, Stefanos Zafeiriou

cs.AI

Resumen

Tras la aparición de los NeRFs, el método de 3D Gaussian Splatting (3D-GS) ha abierto el camino hacia el renderizado neuronal en tiempo real, superando la carga computacional de los métodos volumétricos. Siguiendo el trabajo pionero de 3D-GS, varios métodos han intentado lograr alternativas con un rendimiento comprimible y de alta fidelidad. Sin embargo, al emplear un esquema de optimización agnóstico a la geometría, estos métodos descuidan la estructura 3D inherente de la escena, lo que restringe la expresividad y la calidad de la representación, resultando en diversos puntos flotantes y artefactos. En este trabajo, proponemos un método de Gaussian Splatting consciente de la estructura (SAGS) que codifica implícitamente la geometría de la escena, lo que se traduce en un rendimiento de renderizado de vanguardia y requisitos de almacenamiento reducidos en conjuntos de datos de síntesis de nuevas vistas de referencia. SAGS se basa en una representación gráfica local-global que facilita el aprendizaje de escenas complejas y aplica desplazamientos de puntos significativos que preservan la geometría de la escena. Además, presentamos una versión ligera de SAGS, utilizando un esquema de interpolación de punto medio simple pero efectivo, que muestra una representación compacta de la escena con una reducción de tamaño de hasta 24 veces sin depender de ninguna estrategia de compresión. Experimentos exhaustivos en múltiples conjuntos de datos de referencia demuestran la superioridad de SAGS en comparación con los métodos 3D-GS más avanzados, tanto en calidad de renderizado como en tamaño del modelo. Además, demostramos que nuestro método consciente de la estructura puede mitigar efectivamente los artefactos flotantes y las distorsiones irregulares de los métodos anteriores, obteniendo mapas de profundidad precisos. Página del proyecto: https://eververas.github.io/SAGS/.

English

Following the advent of NeRFs, 3D Gaussian Splatting (3D-GS) has paved the way to real-time neural rendering overcoming the computational burden of volumetric methods. Following the pioneering work of 3D-GS, several methods have attempted to achieve compressible and high-fidelity performance alternatives. However, by employing a geometry-agnostic optimization scheme, these methods neglect the inherent 3D structure of the scene, thereby restricting the expressivity and the quality of the representation, resulting in various floating points and artifacts. In this work, we propose a structure-aware Gaussian Splatting method (SAGS) that implicitly encodes the geometry of the scene, which reflects to state-of-the-art rendering performance and reduced storage requirements on benchmark novel-view synthesis datasets. SAGS is founded on a local-global graph representation that facilitates the learning of complex scenes and enforces meaningful point displacements that preserve the scene's geometry. Additionally, we introduce a lightweight version of SAGS, using a simple yet effective mid-point interpolation scheme, which showcases a compact representation of the scene with up to 24times size reduction without the reliance on any compression strategies. Extensive experiments across multiple benchmark datasets demonstrate the superiority of SAGS compared to state-of-the-art 3D-GS methods under both rendering quality and model size. Besides, we demonstrate that our structure-aware method can effectively mitigate floating artifacts and irregular distortions of previous methods while obtaining precise depth maps. Project page https://eververas.github.io/SAGS/.