ロバストガウススプラッティング
Robust Gaussian Splatting
April 5, 2024
著者: François Darmon, Lorenzo Porzi, Samuel Rota-Bulò, Peter Kontschieder
cs.AI
要旨
本論文では、3Dガウススプラッティング(3DGS)における一般的なエラー要因、例えばぼやけ、不完全なカメラポーズ、色の不整合などに対処し、手持ちのスマートフォン撮影からの再構築といった実用的なアプリケーションにおける堅牢性の向上を目指します。主な貢献として、モーションブラーをカメラポーズ上のガウス分布としてモデル化し、カメラポーズの精緻化とモーションブラーの補正を統一的に扱えるようにしました。さらに、被写界深度によるぼやけの補償や、環境光や影、あるいはホワイトバランス設定の違いなどカメラ関連の要因による色の不整合に対処するメカニズムを提案します。提案する解決策は、3DGSの定式化にシームレスに統合されつつ、学習効率とレンダリング速度の利点を維持します。Scannet++やDeblur-NeRFといった関連するベンチマークデータセットを用いて実験的に検証を行い、最先端の結果を得て、関連するベースラインに対する一貫した改善を確認しました。
English
In this paper, we address common error sources for 3D Gaussian Splatting
(3DGS) including blur, imperfect camera poses, and color inconsistencies, with
the goal of improving its robustness for practical applications like
reconstructions from handheld phone captures. Our main contribution involves
modeling motion blur as a Gaussian distribution over camera poses, allowing us
to address both camera pose refinement and motion blur correction in a unified
way. Additionally, we propose mechanisms for defocus blur compensation and for
addressing color in-consistencies caused by ambient light, shadows, or due to
camera-related factors like varying white balancing settings. Our proposed
solutions integrate in a seamless way with the 3DGS formulation while
maintaining its benefits in terms of training efficiency and rendering speed.
We experimentally validate our contributions on relevant benchmark datasets
including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and
thus consistent improvements over relevant baselines.Summary
AI-Generated Summary