Gaussian Splatting Robusto
Robust Gaussian Splatting
April 5, 2024
Autores: François Darmon, Lorenzo Porzi, Samuel Rota-Bulò, Peter Kontschieder
cs.AI
Resumen
En este artículo, abordamos fuentes comunes de error en el Splatting Gaussiano 3D (3DGS), como el desenfoque, las poses de cámara imperfectas y las inconsistencias de color, con el objetivo de mejorar su robustez para aplicaciones prácticas como reconstrucciones a partir de capturas con teléfonos móviles. Nuestra principal contribución consiste en modelar el desenfoque de movimiento como una distribución gaussiana sobre las poses de la cámara, lo que nos permite abordar tanto el refinamiento de la pose de la cámara como la corrección del desenfoque de movimiento de manera unificada. Además, proponemos mecanismos para compensar el desenfoque por falta de enfoque y para abordar las inconsistencias de color causadas por la luz ambiental, las sombras o factores relacionados con la cámara, como ajustes variables de balance de blancos. Nuestras soluciones propuestas se integran de manera fluida con la formulación del 3DGS, manteniendo sus ventajas en términos de eficiencia de entrenamiento y velocidad de renderizado. Validamos experimentalmente nuestras contribuciones en conjuntos de datos de referencia relevantes, como Scannet++ y Deblur-NeRF, obteniendo resultados de vanguardia y mejoras consistentes sobre las líneas base relevantes.
English
In this paper, we address common error sources for 3D Gaussian Splatting
(3DGS) including blur, imperfect camera poses, and color inconsistencies, with
the goal of improving its robustness for practical applications like
reconstructions from handheld phone captures. Our main contribution involves
modeling motion blur as a Gaussian distribution over camera poses, allowing us
to address both camera pose refinement and motion blur correction in a unified
way. Additionally, we propose mechanisms for defocus blur compensation and for
addressing color in-consistencies caused by ambient light, shadows, or due to
camera-related factors like varying white balancing settings. Our proposed
solutions integrate in a seamless way with the 3DGS formulation while
maintaining its benefits in terms of training efficiency and rendering speed.
We experimentally validate our contributions on relevant benchmark datasets
including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and
thus consistent improvements over relevant baselines.Summary
AI-Generated Summary