Robuuste Gaussische Splatting

Robust Gaussian Splatting

April 5, 2024

Auteurs: François Darmon, Lorenzo Porzi, Samuel Rota-Bulò, Peter Kontschieder

cs.AI

Samenvatting

In dit artikel behandelen we veelvoorkomende bronnen van fouten bij 3D Gaussian Splatting (3DGS), zoals onscherpte, onnauwkeurige cameraposities en kleurincongruenties, met als doel de robuustheid ervan te verbeteren voor praktische toepassingen zoals reconstructies vanuit handheld telefoonopnames. Onze belangrijkste bijdrage bestaat uit het modelleren van bewegingsonscherpte als een Gaussische verdeling over cameraposities, waardoor we zowel de verfijning van cameraposities als de correctie van bewegingsonscherpte op een geïntegreerde manier kunnen aanpakken. Daarnaast stellen we mechanismen voor om defocus-onscherpte te compenseren en kleurincongruenties aan te pakken die worden veroorzaakt door omgevingslicht, schaduwen of cameragerelateerde factoren zoals variërende witbalansinstellingen. Onze voorgestelde oplossingen integreren naadloos met de 3DGS-formulering, terwijl de voordelen op het gebied van trainings-efficiëntie en renderingsnelheid behouden blijven. We valideren onze bijdragen experimenteel op relevante benchmarkdatasets, waaronder Scannet++ en Deblur-NeRF, en behalen state-of-the-art resultaten, wat resulteert in consistente verbeteringen ten opzichte van relevante baselines.

English

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.