강건한 가우시안 스플래팅

Robust Gaussian Splatting

April 5, 2024

저자: François Darmon, Lorenzo Porzi, Samuel Rota-Bulò, Peter Kontschieder

cs.AI

초록

본 논문에서는 핸드헬드 폰 캡처로부터의 재구성과 같은 실용적인 응용 분야에서의 강건성을 향상시키기 위해, 3D 가우시안 스플래팅(3DGS)의 일반적인 오류 원인들인 블러, 불완전한 카메라 포즈, 그리고 색상 불일치를 다룹니다. 우리의 주요 기여는 모션 블러를 카메라 포즈에 대한 가우시안 분포로 모델링하여, 카메라 포즈 정제와 모션 블러 보정을 통합적으로 처리할 수 있도록 한 것입니다. 추가적으로, 디포커스 블러 보상 및 주변광, 그림자, 또는 화이트 밸런스 설정 변화와 같은 카메라 관련 요인으로 인한 색상 불일치를 해결하기 위한 메커니즘을 제안합니다. 우리가 제안한 해결책들은 3DGS 공식과 원활하게 통합되면서도, 학습 효율성과 렌더링 속도 측면에서의 장점을 유지합니다. 우리는 Scannet++ 및 Deblur-NeRF와 같은 관련 벤치마크 데이터셋에서 실험적으로 우리의 기여를 검증하며, 최신 기술 수준의 결과를 얻어 관련 베이스라인 대비 일관된 개선을 달성했습니다.

English

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.