스플랏 필드: 희소한 3D 및 4D 재구성을 위한 신경 가우시안 스플랏

SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction

September 17, 2024

저자: Marko Mihajlovic, Sergey Prokudin, Siyu Tang, Robert Maier, Federica Bogo, Tony Tung, Edmond Boyer

cs.AI

초록

다중 뷰 이미지에서 3D 정적 장면과 4D 동적 이벤트를 디지털화하는 것은 컴퓨터 비전 및 그래픽스 분야에서 오랫동안 어려운 과제였습니다. 최근에는 3D 가우시안 스플래팅(3DGS)이 현실적이고 확장 가능한 재구성 방법으로 등장하여 인기를 얻고 있습니다. 이 방법은 인상적인 재구성 품질, 실시간 렌더링 능력 및 널리 사용되는 시각화 도구와의 호환성으로 주목받고 있습니다. 그러나 이 방법은 고품질 장면 재구성을 위해 상당 수의 입력 뷰가 필요하며, 이는 실제적인 병목 현상을 도입합니다. 이러한 도전 과제는 특히 동적 장면을 촬영할 때 카메라 어레이를 넓게 배치하는 것이 막대한 비용을 초래할 수 있는 경우에 심각합니다. 본 연구에서는 3DGS 기술의 희박 재구성 환경에서 부적절한 성능에 기여하는 요소 중 하나로 스플래트 특징의 공간 자기상관 부족을 확인했습니다. 이 문제를 해결하기 위해 해당 암시적 신경장 필드의 출력으로 모델링하여 스플래트 특징을 효과적으로 규제하는 최적화 전략을 제안합니다. 이를 통해 다양한 시나리오에서 일관된 재구성 품질 향상이 이루어집니다. 우리의 접근 방식은 다양한 설정 및 장면 복잡성에서의 광범위한 테스트를 통해 정적 및 동적 케이스를 효과적으로 처리합니다.

English

Digitizing 3D static scenes and 4D dynamic events from multi-view images has long been a challenge in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a practical and scalable reconstruction method, gaining popularity due to its impressive reconstruction quality, real-time rendering capabilities, and compatibility with widely used visualization tools. However, the method requires a substantial number of input views to achieve high-quality scene reconstruction, introducing a significant practical bottleneck. This challenge is especially severe in capturing dynamic scenes, where deploying an extensive camera array can be prohibitively costly. In this work, we identify the lack of spatial autocorrelation of splat features as one of the factors contributing to the suboptimal performance of the 3DGS technique in sparse reconstruction settings. To address the issue, we propose an optimization strategy that effectively regularizes splat features by modeling them as the outputs of a corresponding implicit neural field. This results in a consistent enhancement of reconstruction quality across various scenarios. Our approach effectively handles static and dynamic cases, as demonstrated by extensive testing across different setups and scene complexities.