Устойчивое гауссово наложение

Robust Gaussian Splatting

April 5, 2024

Авторы: François Darmon, Lorenzo Porzi, Samuel Rota-Bulò, Peter Kontschieder

cs.AI

Аннотация

В данной статье мы рассматриваем общие источники ошибок для трехмерного гауссовского сглаживания (3DGS), включая размытие, несовершенные позы камеры и несоответствия цветов, с целью улучшения его устойчивости для практических приложений, таких как восстановление из снимков, сделанных на мобильный телефон. Нашим основным вкладом является моделирование движущегося размытия как гауссовского распределения по позам камеры, что позволяет нам решать задачи как уточнения позы камеры, так и коррекции движущегося размытия единым способом. Кроме того, мы предлагаем механизмы компенсации дефокусного размытия и решения проблем с несоответствиями цветов, вызванными окружающим светом, тенью или факторами, связанными с камерой, такими как изменяющиеся настройки баланса белого. Наши предложенные решения интегрируются бесшовно с формулировкой 3DGS, сохраняя ее преимущества в плане эффективности обучения и скорости визуализации. Мы экспериментально подтверждаем наш вклад на соответствующих наборах данных, включая Scannet++ и Deblur-NeRF, достигая результатов, соответствующих современному уровню, и, таким образом, последовательно улучшая результаты по сравнению с соответствующими базовыми вариантами.

English

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.