ПолеСплэтов: Нейронные Гауссовы Сплэты для Разреженной Реконструкции в 3D и 4D

SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction

September 17, 2024

Авторы: Marko Mihajlovic, Sergey Prokudin, Siyu Tang, Robert Maier, Federica Bogo, Tony Tung, Edmond Boyer

cs.AI

Аннотация

Цифровизация трехмерных статических сцен и четырехмерных динамических событий из многозрительных изображений давно является вызовом в области компьютерного зрения и графики. Недавно метод трехмерного гауссова сплетения (3DGS) выдвинулся как практичный и масштабируемый метод реконструкции, завоевав популярность благодаря впечатляющему качеству реконструкции, возможностям реального времени отображения и совместимости с широко используемыми инструментами визуализации. Однако для достижения высококачественной реконструкции сцены метод требует значительного количества входных видов, что создает значительное практическое узкое место. Эта проблема особенно остра в случае захвата динамических сцен, где развертывание обширного массива камер может быть чрезмерно дорогостоящим. В данной работе мы выявляем отсутствие пространственной автокорреляции свойств сплетения как один из факторов, способствующих неоптимальной производительности техники 3DGS в условиях разреженной реконструкции. Для решения проблемы мы предлагаем стратегию оптимизации, которая эффективно регуляризует свойства сплетения, моделируя их как результаты соответствующего неявного нейронного поля. Это приводит к последовательному улучшению качества реконструкции в различных сценариях. Наш подход эффективно обрабатывает статические и динамические случаи, как продемонстрировано при обширном тестировании на различных настройках и сложностях сцен.

English

Digitizing 3D static scenes and 4D dynamic events from multi-view images has long been a challenge in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a practical and scalable reconstruction method, gaining popularity due to its impressive reconstruction quality, real-time rendering capabilities, and compatibility with widely used visualization tools. However, the method requires a substantial number of input views to achieve high-quality scene reconstruction, introducing a significant practical bottleneck. This challenge is especially severe in capturing dynamic scenes, where deploying an extensive camera array can be prohibitively costly. In this work, we identify the lack of spatial autocorrelation of splat features as one of the factors contributing to the suboptimal performance of the 3DGS technique in sparse reconstruction settings. To address the issue, we propose an optimization strategy that effectively regularizes splat features by modeling them as the outputs of a corresponding implicit neural field. This results in a consistent enhancement of reconstruction quality across various scenarios. Our approach effectively handles static and dynamic cases, as demonstrated by extensive testing across different setups and scene complexities.