Splatting Gaussiano Robusto

Robust Gaussian Splatting

April 5, 2024

Autori: François Darmon, Lorenzo Porzi, Samuel Rota-Bulò, Peter Kontschieder

cs.AI

Abstract

In questo articolo, affrontiamo le comuni fonti di errore per il 3D Gaussian Splatting (3DGS), tra cui sfocatura, pose della fotocamera imperfette e incoerenze cromatiche, con l'obiettivo di migliorarne la robustezza per applicazioni pratiche come ricostruzioni da acquisizioni con smartphone portatili. Il nostro contributo principale consiste nel modellare la sfocatura da movimento come una distribuzione gaussiana sulle pose della fotocamera, consentendoci di affrontare sia il perfezionamento della posa della fotocamera che la correzione della sfocatura da movimento in modo unificato. Inoltre, proponiamo meccanismi per la compensazione della sfocatura da defocus e per affrontare le incoerenze cromatiche causate dalla luce ambientale, dalle ombre o da fattori legati alla fotocamera come le impostazioni variabili del bilanciamento del bianco. Le nostre soluzioni proposte si integrano in modo fluido con la formulazione del 3DGS, mantenendone i vantaggi in termini di efficienza di addestramento e velocità di rendering. Validiamo sperimentalmente i nostri contributi su dataset di benchmark rilevanti, tra cui Scannet++ e Deblur-NeRF, ottenendo risultati all'avanguardia e quindi miglioramenti consistenti rispetto alle baseline rilevanti.

English

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.