Campos de Salpicaduras: Salpicaduras Gaussianas Neuronales para la Reconstrucción Esparsa en 3D y 4D

SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction

September 17, 2024

Autores: Marko Mihajlovic, Sergey Prokudin, Siyu Tang, Robert Maier, Federica Bogo, Tony Tung, Edmond Boyer

cs.AI

Resumen

La digitalización de escenas 3D estáticas y eventos dinámicos 4D a partir de imágenes de múltiples vistas ha sido durante mucho tiempo un desafío en visión por computadora y gráficos. Recientemente, el Splatting Gaussiano 3D (3DGS) ha surgido como un método de reconstrucción práctico y escalable, ganando popularidad debido a su impresionante calidad de reconstrucción, capacidades de renderizado en tiempo real y compatibilidad con herramientas de visualización ampliamente utilizadas. Sin embargo, el método requiere un número sustancial de vistas de entrada para lograr una reconstrucción de escena de alta calidad, lo que introduce un cuello de botella práctico significativo. Este desafío es especialmente severo en la captura de escenas dinámicas, donde desplegar una extensa matriz de cámaras puede resultar prohibitivamente costoso. En este trabajo, identificamos la falta de autocorrelación espacial de las características de splat como uno de los factores que contribuyen al rendimiento subóptimo de la técnica 3DGS en entornos de reconstrucción dispersa. Para abordar el problema, proponemos una estrategia de optimización que regulariza de manera efectiva las características de splat al modelarlas como las salidas de un campo neural implícito correspondiente. Esto resulta en una mejora consistente de la calidad de reconstrucción en varios escenarios. Nuestro enfoque maneja de manera efectiva casos estáticos y dinámicos, como se demuestra mediante pruebas extensas en diferentes configuraciones y complejidades de escena.

English

Digitizing 3D static scenes and 4D dynamic events from multi-view images has long been a challenge in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a practical and scalable reconstruction method, gaining popularity due to its impressive reconstruction quality, real-time rendering capabilities, and compatibility with widely used visualization tools. However, the method requires a substantial number of input views to achieve high-quality scene reconstruction, introducing a significant practical bottleneck. This challenge is especially severe in capturing dynamic scenes, where deploying an extensive camera array can be prohibitively costly. In this work, we identify the lack of spatial autocorrelation of splat features as one of the factors contributing to the suboptimal performance of the 3DGS technique in sparse reconstruction settings. To address the issue, we propose an optimization strategy that effectively regularizes splat features by modeling them as the outputs of a corresponding implicit neural field. This results in a consistent enhancement of reconstruction quality across various scenarios. Our approach effectively handles static and dynamic cases, as demonstrated by extensive testing across different setups and scene complexities.