ロバストガウススプラッティング

Robust Gaussian Splatting

April 5, 2024

著者: François Darmon, Lorenzo Porzi, Samuel Rota-Bulò, Peter Kontschieder

cs.AI

要旨

本論文では、3Dガウススプラッティング（3DGS）における一般的なエラー要因、例えばぼやけ、不完全なカメラポーズ、色の不整合などに対処し、手持ちのスマートフォン撮影からの再構築といった実用的なアプリケーションにおける堅牢性の向上を目指します。主な貢献として、モーションブラーをカメラポーズ上のガウス分布としてモデル化し、カメラポーズの精緻化とモーションブラーの補正を統一的に扱えるようにしました。さらに、被写界深度によるぼやけの補償や、環境光や影、あるいはホワイトバランス設定の違いなどカメラ関連の要因による色の不整合に対処するメカニズムを提案します。提案する解決策は、3DGSの定式化にシームレスに統合されつつ、学習効率とレンダリング速度の利点を維持します。Scannet++やDeblur-NeRFといった関連するベンチマークデータセットを用いて実験的に検証を行い、最先端の結果を得て、関連するベースラインに対する一貫した改善を確認しました。

English

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.