Campos de Splat: Splat Gaussianos Neurais para Reconstrução Esparsa 3D e 4D

SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction

September 17, 2024

Autores: Marko Mihajlovic, Sergey Prokudin, Siyu Tang, Robert Maier, Federica Bogo, Tony Tung, Edmond Boyer

cs.AI

Resumo

A digitalização de cenas estáticas em 3D e eventos dinâmicos em 4D a partir de imagens de várias vistas tem sido um desafio na visão computacional e gráficos. Recentemente, o Splatting Gaussiano em 3D (3DGS) surgiu como um método de reconstrução prático e escalável, ganhando popularidade devido à sua impressionante qualidade de reconstrução, capacidades de renderização em tempo real e compatibilidade com ferramentas de visualização amplamente utilizadas. No entanto, o método requer um número substancial de vistas de entrada para alcançar uma reconstrução de cena de alta qualidade, introduzindo um gargalo prático significativo. Este desafio é especialmente severo na captura de cenas dinâmicas, onde implantar um extenso conjunto de câmeras pode ser proibitivamente caro. Neste trabalho, identificamos a falta de autocorrelação espacial de características de splat como um dos fatores que contribuem para o desempenho subótimo da técnica 3DGS em ambientes de reconstrução esparsa. Para abordar o problema, propomos uma estratégia de otimização que regulariza efetivamente as características de splat ao modelá-las como as saídas de um campo neural implícito correspondente. Isso resulta em um aprimoramento consistente da qualidade de reconstrução em vários cenários. Nossa abordagem lida efetivamente com casos estáticos e dinâmicos, como demonstrado por extensos testes em diferentes configurações e complexidades de cena.

English

Digitizing 3D static scenes and 4D dynamic events from multi-view images has long been a challenge in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a practical and scalable reconstruction method, gaining popularity due to its impressive reconstruction quality, real-time rendering capabilities, and compatibility with widely used visualization tools. However, the method requires a substantial number of input views to achieve high-quality scene reconstruction, introducing a significant practical bottleneck. This challenge is especially severe in capturing dynamic scenes, where deploying an extensive camera array can be prohibitively costly. In this work, we identify the lack of spatial autocorrelation of splat features as one of the factors contributing to the suboptimal performance of the 3DGS technique in sparse reconstruction settings. To address the issue, we propose an optimization strategy that effectively regularizes splat features by modeling them as the outputs of a corresponding implicit neural field. This results in a consistent enhancement of reconstruction quality across various scenarios. Our approach effectively handles static and dynamic cases, as demonstrated by extensive testing across different setups and scene complexities.