SAGS: Splatting de Gaussianas 3D com Consciência Estrutural

SAGS: Structure-Aware 3D Gaussian Splatting

April 29, 2024

Autores: Evangelos Ververas, Rolandos Alexandros Potamias, Jifei Song, Jiankang Deng, Stefanos Zafeiriou

cs.AI

Resumo

Após o advento dos NeRFs, o 3D Gaussian Splatting (3D-GS) abriu caminho para a renderização neural em tempo real, superando o custo computacional dos métodos volumétricos. Seguindo o trabalho pioneiro do 3D-GS, vários métodos tentaram alcançar alternativas de alta fidelidade e compressibilidade. No entanto, ao empregar um esquema de otimização agnóstico à geometria, esses métodos negligenciam a estrutura 3D inerente da cena, limitando assim a expressividade e a qualidade da representação, resultando em diversos pontos flutuantes e artefatos. Neste trabalho, propomos um método de Gaussian Splatting consciente da estrutura (SAGS) que codifica implicitamente a geometria da cena, refletindo-se em um desempenho de renderização de ponta e requisitos de armazenamento reduzidos em conjuntos de dados de síntese de novas vistas de referência. O SAGS é baseado em uma representação de grafo local-global que facilita a aprendizagem de cenas complexas e impõe deslocamentos de pontos significativos que preservam a geometria da cena. Além disso, introduzimos uma versão leve do SAGS, utilizando um esquema de interpolação de ponto médio simples, porém eficaz, que apresenta uma representação compacta da cena com redução de tamanho de até 24 vezes, sem depender de estratégias de compressão. Experimentos extensivos em vários conjuntos de dados de referência demonstram a superioridade do SAGS em comparação com os métodos 3D-GS de ponta, tanto em qualidade de renderização quanto em tamanho do modelo. Além disso, demonstramos que nosso método consciente da estrutura pode efetivamente mitigar artefatos flutuantes e distorções irregulares dos métodos anteriores, ao mesmo tempo em que obtém mapas de profundidade precisos. Página do projeto: https://eververas.github.io/SAGS/.

English

Following the advent of NeRFs, 3D Gaussian Splatting (3D-GS) has paved the way to real-time neural rendering overcoming the computational burden of volumetric methods. Following the pioneering work of 3D-GS, several methods have attempted to achieve compressible and high-fidelity performance alternatives. However, by employing a geometry-agnostic optimization scheme, these methods neglect the inherent 3D structure of the scene, thereby restricting the expressivity and the quality of the representation, resulting in various floating points and artifacts. In this work, we propose a structure-aware Gaussian Splatting method (SAGS) that implicitly encodes the geometry of the scene, which reflects to state-of-the-art rendering performance and reduced storage requirements on benchmark novel-view synthesis datasets. SAGS is founded on a local-global graph representation that facilitates the learning of complex scenes and enforces meaningful point displacements that preserve the scene's geometry. Additionally, we introduce a lightweight version of SAGS, using a simple yet effective mid-point interpolation scheme, which showcases a compact representation of the scene with up to 24times size reduction without the reliance on any compression strategies. Extensive experiments across multiple benchmark datasets demonstrate the superiority of SAGS compared to state-of-the-art 3D-GS methods under both rendering quality and model size. Besides, we demonstrate that our structure-aware method can effectively mitigate floating artifacts and irregular distortions of previous methods while obtaining precise depth maps. Project page https://eververas.github.io/SAGS/.