SAGS: 구조 인식형 3D 가우시안 스플래팅

SAGS: Structure-Aware 3D Gaussian Splatting

April 29, 2024

저자: Evangelos Ververas, Rolandos Alexandros Potamias, Jifei Song, Jiankang Deng, Stefanos Zafeiriou

cs.AI

초록

NeRF의 등장 이후, 3D Gaussian Splatting(3D-GS)은 볼륨 메트릭 방법의 계산 부담을 극복하며 실시간 신경 렌더링의 길을 열었습니다. 3D-GS의 선구적인 연구를 이어, 여러 방법들이 압축 가능하고 고품질의 성능을 달성하려 시도했습니다. 그러나 이러한 방법들은 기하학적 구조를 고려하지 않은 최적화 방식을 채택함으로써 장면의 본질적인 3D 구조를 간과하여 표현력과 표현 품질을 제한하고, 다양한 부유점과 아티팩트를 초래했습니다. 본 연구에서는 장면의 기하학을 암묵적으로 인코딩하는 구조 인식 Gaussian Splatting 방법(SAGS)을 제안하며, 이는 최신 뷰 합성 벤치마크 데이터셋에서 최고 수준의 렌더링 성능과 감소된 저장 요구량을 보여줍니다. SAGS는 복잡한 장면의 학습을 용이하게 하고 장면의 기하학을 보존하는 의미 있는 점 변위를 강제하는 로컬-글로벌 그래프 표현에 기반을 두고 있습니다. 또한, 간단하면서도 효과적인 중간점 보간 방식을 사용한 경량 버전의 SAGS를 소개하며, 이는 어떠한 압축 전략에도 의존하지 않고 최대 24배의 크기 감소를 보여줍니다. 여러 벤치마크 데이터셋에 걸친 광범위한 실험을 통해 SAGS가 렌더링 품질과 모델 크기 모두에서 최신 3D-GS 방법들보다 우수함을 입증했습니다. 또한, 우리의 구조 인식 방법이 이전 방법들의 부유 아티팩트와 불규칙한 왜곡을 효과적으로 완화하면서 정확한 깊이 맵을 얻을 수 있음을 보여줍니다. 프로젝트 페이지: https://eververas.github.io/SAGS/.

English

Following the advent of NeRFs, 3D Gaussian Splatting (3D-GS) has paved the way to real-time neural rendering overcoming the computational burden of volumetric methods. Following the pioneering work of 3D-GS, several methods have attempted to achieve compressible and high-fidelity performance alternatives. However, by employing a geometry-agnostic optimization scheme, these methods neglect the inherent 3D structure of the scene, thereby restricting the expressivity and the quality of the representation, resulting in various floating points and artifacts. In this work, we propose a structure-aware Gaussian Splatting method (SAGS) that implicitly encodes the geometry of the scene, which reflects to state-of-the-art rendering performance and reduced storage requirements on benchmark novel-view synthesis datasets. SAGS is founded on a local-global graph representation that facilitates the learning of complex scenes and enforces meaningful point displacements that preserve the scene's geometry. Additionally, we introduce a lightweight version of SAGS, using a simple yet effective mid-point interpolation scheme, which showcases a compact representation of the scene with up to 24times size reduction without the reliance on any compression strategies. Extensive experiments across multiple benchmark datasets demonstrate the superiority of SAGS compared to state-of-the-art 3D-GS methods under both rendering quality and model size. Besides, we demonstrate that our structure-aware method can effectively mitigate floating artifacts and irregular distortions of previous methods while obtaining precise depth maps. Project page https://eververas.github.io/SAGS/.