Campi di Splat: Splat neurali gaussiani per la ricostruzione sparsa in 3D e 4D

SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction

September 17, 2024

Autori: Marko Mihajlovic, Sergey Prokudin, Siyu Tang, Robert Maier, Federica Bogo, Tony Tung, Edmond Boyer

cs.AI

Abstract

La digitalizzazione di scene statiche in 3D e eventi dinamici in 4D da immagini multi-vista è da tempo una sfida nella visione artificiale e nella grafica. Di recente, lo Splatting Gaussiano in 3D (3DGS) è emerso come un metodo di ricostruzione pratico e scalabile, guadagnando popolarità grazie alla sua impressionante qualità di ricostruzione, alle capacità di rendering in tempo reale e alla compatibilità con strumenti di visualizzazione ampiamente utilizzati. Tuttavia, il metodo richiede un numero sostanziale di viste in ingresso per ottenere una ricostruzione di scena di alta qualità, introducendo un significativo collo di bottiglia pratico. Questa sfida è particolarmente severa nella cattura di scene dinamiche, dove l'impiego di un ampio array di telecamere può essere proibitivamente costoso. In questo lavoro, identifichiamo la mancanza di autocorrelazione spaziale delle caratteristiche di splat come uno dei fattori che contribuiscono alle prestazioni non ottimali della tecnica 3DGS in contesti di ricostruzione sparsi. Per affrontare il problema, proponiamo una strategia di ottimizzazione che regolarizza efficacemente le caratteristiche di splat modellandole come gli output di un campo neurale implicito corrispondente. Ciò si traduce in un miglioramento costante della qualità della ricostruzione in vari scenari. Il nostro approccio gestisce efficacemente casi statici e dinamici, come dimostrato da test approfonditi su diverse configurazioni e complessità delle scene.

English

Digitizing 3D static scenes and 4D dynamic events from multi-view images has long been a challenge in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a practical and scalable reconstruction method, gaining popularity due to its impressive reconstruction quality, real-time rendering capabilities, and compatibility with widely used visualization tools. However, the method requires a substantial number of input views to achieve high-quality scene reconstruction, introducing a significant practical bottleneck. This challenge is especially severe in capturing dynamic scenes, where deploying an extensive camera array can be prohibitively costly. In this work, we identify the lack of spatial autocorrelation of splat features as one of the factors contributing to the suboptimal performance of the 3DGS technique in sparse reconstruction settings. To address the issue, we propose an optimization strategy that effectively regularizes splat features by modeling them as the outputs of a corresponding implicit neural field. This results in a consistent enhancement of reconstruction quality across various scenarios. Our approach effectively handles static and dynamic cases, as demonstrated by extensive testing across different setups and scene complexities.