Gaussienne robuste par éclaboussure

Robust Gaussian Splatting

April 5, 2024

Auteurs: François Darmon, Lorenzo Porzi, Samuel Rota-Bulò, Peter Kontschieder

cs.AI

Résumé

Dans cet article, nous abordons les sources d'erreur courantes pour le lissage gaussien 3D (3DGS), notamment le flou, les poses de caméra imparfaites et les incohérences de couleur, dans le but d'améliorer sa robustesse pour des applications pratiques telles que les reconstructions à partir de captures réalisées avec un téléphone portable. Notre principale contribution consiste à modéliser le flou de mouvement comme une distribution gaussienne sur les poses de caméra, ce qui nous permet de traiter à la fois le raffinement des poses de caméra et la correction du flou de mouvement de manière unifiée. De plus, nous proposons des mécanismes pour compenser le flou de défocalisation et pour résoudre les incohérences de couleur causées par la lumière ambiante, les ombres, ou des facteurs liés à la caméra tels que les réglages variables de la balance des blancs. Nos solutions proposées s'intègrent de manière fluide à la formulation du 3DGS tout en conservant ses avantages en termes d'efficacité d'entraînement et de vitesse de rendu. Nous validons expérimentalement nos contributions sur des ensembles de données de référence pertinents, notamment Scannet++ et Deblur-NeRF, obtenant des résultats de pointe et donc des améliorations constantes par rapport aux bases de référence pertinentes.

English

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.