WildGaussians: 야생 환경에서의 3D 가우시안 스플래팅

WildGaussians: 3D Gaussian Splatting in the Wild

July 11, 2024

저자: Jonas Kulhanek, Songyou Peng, Zuzana Kukelova, Marc Pollefeys, Torsten Sattler

cs.AI

초록

3D 장면 재구성 분야는 사실적인 화질로 인해 NeRF(Neural Radiance Fields)가 주도하고 있지만, 최근 3D Gaussian Splatting(3DGS)이 등장하며 실시간 렌더링 속도로 유사한 품질을 제공하고 있습니다. 그러나 두 방법 모두 잘 제어된 3D 장면에서 뛰어난 성능을 보이는 반면, 폐색, 동적 객체, 다양한 조명 등으로 특징지어지는 실제 환경 데이터(in-the-wild data)에서는 여전히 어려움을 겪고 있습니다. NeRF는 이미지별 임베딩 벡터를 통해 이러한 조건에 쉽게 적응할 수 있지만, 3DGS는 명시적 표현과 공유 매개변수의 부재로 인해 어려움을 겪습니다. 이를 해결하기 위해 우리는 3DGS에서 폐색과 외관 변화를 처리하는 새로운 접근법인 WildGaussians를 소개합니다. 강력한 DINO 기능을 활용하고 3DGS 내에 외관 모델링 모듈을 통합함으로써, 우리의 방법은 최첨단 결과를 달성합니다. WildGaussians는 3DGS의 실시간 렌더링 속도를 유지하면서 실제 환경 데이터 처리에서 3DGS와 NeRF 기준선을 모두 능가하며, 간단한 아키텍처 프레임워크 내에서 이를 달성함을 보여줍니다.

English

While the field of 3D scene reconstruction is dominated by NeRFs due to their photorealistic quality, 3D Gaussian Splatting (3DGS) has recently emerged, offering similar quality with real-time rendering speeds. However, both methods primarily excel with well-controlled 3D scenes, while in-the-wild data - characterized by occlusions, dynamic objects, and varying illumination - remains challenging. NeRFs can adapt to such conditions easily through per-image embedding vectors, but 3DGS struggles due to its explicit representation and lack of shared parameters. To address this, we introduce WildGaussians, a novel approach to handle occlusions and appearance changes with 3DGS. By leveraging robust DINO features and integrating an appearance modeling module within 3DGS, our method achieves state-of-the-art results. We demonstrate that WildGaussians matches the real-time rendering speed of 3DGS while surpassing both 3DGS and NeRF baselines in handling in-the-wild data, all within a simple architectural framework.