Gaussian Splatting Robusto

Robust Gaussian Splatting

April 5, 2024

Autores: François Darmon, Lorenzo Porzi, Samuel Rota-Bulò, Peter Kontschieder

cs.AI

Resumo

Neste artigo, abordamos fontes comuns de erros para o Splatting Gaussiano 3D (3DGS), incluindo desfoque, poses de câmera imperfeitas e inconsistências de cor, com o objetivo de melhorar sua robustez para aplicações práticas, como reconstruções a partir de capturas feitas com telefones móveis. Nossa principal contribuição envolve modelar o desfoque de movimento como uma distribuição gaussiana sobre as poses da câmera, permitindo-nos abordar tanto o refinamento da pose da câmera quanto a correção do desfoque de movimento de maneira unificada. Além disso, propomos mecanismos para compensação de desfoque por falta de foco e para lidar com inconsistências de cor causadas por luz ambiente, sombras ou fatores relacionados à câmera, como configurações variáveis de balanço de branco. Nossas soluções propostas integram-se de forma harmoniosa à formulação do 3DGS, mantendo seus benefícios em termos de eficiência de treinamento e velocidade de renderização. Validamos experimentalmente nossas contribuições em conjuntos de dados de referência relevantes, incluindo Scannet++ e Deblur-NeRF, obtendo resultados de última geração e, portanto, melhorias consistentes em relação às linhas de base relevantes.

English

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.