Robustes Gauss'sches Splatting

Robust Gaussian Splatting

April 5, 2024

Autoren: François Darmon, Lorenzo Porzi, Samuel Rota-Bulò, Peter Kontschieder

cs.AI

Zusammenfassung

In diesem Paper behandeln wir häufige Fehlerquellen für 3D-Gauß-Splatting (3DGS), darunter Unschärfe, unvollkommene Kamerapositionen und Farbinkonsistenzen, mit dem Ziel, seine Robustheit für praktische Anwendungen wie Rekonstruktionen aus handgehaltenen Handy-Aufnahmen zu verbessern. Unser Hauptbeitrag besteht darin, Bewegungsunschärfe als Gauß-Verteilung über Kamerapositionen zu modellieren, was es uns ermöglicht, sowohl die Verfeinerung der Kameraposition als auch die Korrektur der Bewegungsunschärfe auf einheitliche Weise anzugehen. Darüber hinaus schlagen wir Mechanismen zur Kompensation von Defokusunschärfe und zur Behebung von Farbinkonsistenzen vor, die durch Umgebungslicht, Schatten oder kamerabezogene Faktoren wie unterschiedliche Weißabgleicheinstellungen verursacht werden. Unsere vorgeschlagenen Lösungen integrieren sich nahtlos in die 3DGS-Formulierung, wobei sie deren Vorteile in Bezug auf Trainingseffizienz und Rendergeschwindigkeit beibehalten. Wir validieren experimentell unsere Beiträge an relevanten Benchmark-Datensätzen, darunter Scannet++ und Deblur-NeRF, und erzielen erstklassige Ergebnisse sowie konsistente Verbesserungen gegenüber relevanten Basislinien.

English

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.