Splatfacto-W: 제약 없는 사진 컬렉션을 위한 가우시안 스플래팅의 Nerfstudio 구현

Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections

July 17, 2024

저자: Congrong Xu, Justin Kerr, Angjoo Kanazawa

cs.AI

초록

제약 없는 실제 환경 이미지 컬렉션에서의 새로운 시점 합성은 광도 변화와 일시적 가림 요소로 인해 정확한 장면 재구성을 복잡하게 만들어 여전히 중요한 과제로 남아 있습니다. 기존 방법들은 Neural Radiance Fields(NeRF)에 이미지별 외관 특징 임베딩을 통합하여 이러한 문제를 해결하려고 시도했습니다. 3D Gaussian Splatting(3DGS)은 더 빠른 학습과 실시간 렌더링을 제공하지만, 구조가 크게 다르기 때문에 제약 없는 이미지 컬렉션에 적용하는 것은 간단하지 않습니다. 본 논문에서는 래스터화 과정에 가우시안별 신경망 색상 특징과 이미지별 외관 임베딩을 통합하고, 구면 조화 함수 기반 배경 모델을 사용하여 다양한 광도적 외관을 표현하고 배경을 더 잘 묘사하는 Splatfacto-W 접근법을 소개합니다. 우리의 주요 기여는 잠재적 외관 모델링, 효율적인 일시적 객체 처리, 그리고 정확한 배경 모델링을 포함합니다. Splatfacto-W는 실제 환경 시나리오에서 개선된 장면 일관성과 함께 고품질의 실시간 새로운 시점 합성을 제공합니다. 우리의 방법은 3DGS 대비 평균 5.3 dB의 PSNR(Peak Signal-to-Noise Ratio) 향상을 이루었으며, NeRF 기반 방법 대비 150배 빠른 학습 속도를 보이고, 3DGS와 유사한 렌더링 속도를 달성했습니다. 추가 비디오 결과와 Nerfstudio에 통합된 코드는 https://kevinxu02.github.io/splatfactow/에서 확인할 수 있습니다.

English

Novel view synthesis from unconstrained in-the-wild image collections remains a significant yet challenging task due to photometric variations and transient occluders that complicate accurate scene reconstruction. Previous methods have approached these issues by integrating per-image appearance features embeddings in Neural Radiance Fields (NeRFs). Although 3D Gaussian Splatting (3DGS) offers faster training and real-time rendering, adapting it for unconstrained image collections is non-trivial due to the substantially different architecture. In this paper, we introduce Splatfacto-W, an approach that integrates per-Gaussian neural color features and per-image appearance embeddings into the rasterization process, along with a spherical harmonics-based background model to represent varying photometric appearances and better depict backgrounds. Our key contributions include latent appearance modeling, efficient transient object handling, and precise background modeling. Splatfacto-W delivers high-quality, real-time novel view synthesis with improved scene consistency in in-the-wild scenarios. Our method improves the Peak Signal-to-Noise Ratio (PSNR) by an average of 5.3 dB compared to 3DGS, enhances training speed by 150 times compared to NeRF-based methods, and achieves a similar rendering speed to 3DGS. Additional video results and code integrated into Nerfstudio are available at https://kevinxu02.github.io/splatfactow/.